原创文章,链接:http://blog.csdn.net/u012150179/article/details/38226915 1.scrapy+redis使用 (1)应用 这里redis与scrapy一起,scrapy作为crawler,而redis作为scrapy的调度器。如架构图中的②所示。 图1 架构图 (2)为什么选择redis redis作为调度器的实现仍然和其特性相关,可见《一淘搜索之网页抓取系统分析与实现(1)——redis使用》( http://blog.csdn.net/u012150179/article/details/38226711)中关于redis的分析。 2.redis实现scrapy scheduler 关于此部分内容可见《scrapy-redis实现分布式爬取分析与实现》( http://blog.csdn.net/u012150179/article/details/38091411)和《scrapy-redis源码分析》 (http://blog.csdn.net/u012150179/article/details/38226253)两篇文章。