Scrapy-redis分布式爬取实战

一、Scrapy-Redis介绍

 •Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生的项目(items)存储以供后续处理。

•scrapy-redi重写了scrapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。

二、Scrapy-Redis的各个组件

1. connection.py

  负责实例化redis连接。被dupefilter和scheduler调用，总之涉及到redis存取操作。

2. dupefilter.py

  负责执