- 博客(1)
- 收藏
- 关注
原创 分布式爬虫的原理
标题分布式爬虫的原理一开始学习分布式爬虫真的是一脸的懵逼,完全不理解到底是怎么通过Redis实现调度器分发任务后来我逐渐理解了在单机scrapy框架中的原理是这样的scrapy单机爬虫中有一个request队列由调度器来分发任务去请求,没次请求完成之后就会从队列中删除,而新的request请求也会加入到队列。但是调度器的能力是有限的。这样就可以通过Redis来实现调度器分发任务,为什么...
2020-02-24 13:18:23
213
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人