- scrapy 是一个通用的爬虫框架,但是不支持分布式。
- scrapy-redis是为了更方便地实现scrapy分布式爬取,而提供了一些以redis为基础的组件(注意,scrapy-redis只是一些组件,而不是一个完整的框架)。
Scrapy-redis实现分布式爬虫的简易教程:
https://www.jianshu.com/p/ed5afa658ccb?from=jiantop.com
Scrapy-redis实现分布式爬虫的简易教程:
https://www.jianshu.com/p/ed5afa658ccb?from=jiantop.com