scrapy-redis 介绍

1.介绍
scrapy是一个爬虫框架，但是不支持分布式。scrapy-redis在scrapy的基础上，更方便地实现了分布式。
scrapy-redis提供了下面四种组件（component）：（四种组件意味着scrapy的四个模块都要修改）
Scheduler
Duplication Filter
Item Pipeline
Base Spider

Schedular:
改造了python本来的collection.deque（双向队列），改用自己的redis来存放请求信息替代队列。
{
优先级0：队列0，
优先级1：队列1，
优先级2：队列2
}
scheduler根据requests根据优先级，来决定该入哪个队列。

Duplication Filter
Scrapy 中用集合实现这个request去重功能，Scrapy中把已经发出去的requests生成指纹，放入到一个redis的set中。

Item Pipeline
引擎将（Spider返回的）爬取到的Item给 Item Pipeline，scrapy-redis的Item Pipeline将爬取到的Item存入redis的items queue。
修改过的Item Pipeline 可以很方便的根据key从items queue提取item，从而实现 items processes集群

Base Spider
不在使用scrapy原有的Spider类，重写的RedisSpider继承了Spider和RedisMixin类，RedisMixin是用来从redis中读取url类的。

当我们生成一个Spider继承RedisSpider时，调用setup_redis函数，这个函数会去连接redis数据库，然后设置signal（信号）：

• 一个是当spider空闲时候的signal
• 一个是当抓到item时的signal