cwuyongjun的博客

原创 分布式爬虫的原理

标题分布式爬虫的原理一开始学习分布式爬虫真的是一脸的懵逼，完全不理解到底是怎么通过Redis实现调度器分发任务后来我逐渐理解了在单机scrapy框架中的原理是这样的scrapy单机爬虫中有一个request队列由调度器来分发任务去请求，没次请求完成之后就会从队列中删除，而新的request请求也会加入到队列。但是调度器的能力是有限的。这样就可以通过Redis来实现调度器分发任务，为什么...