分布式爬虫：Scrapy-Redis

Scrapy是一个框架，他本身是不支持分布式的。如果我们想要做分布式的爬虫，就需要借助一个组件叫做Scrapy-Redis，这个组件正是利用了Redis可以分布式的功能，集成到Scrapy框架中，使得爬虫可以进行分布式。可以充分的利用资源（多个ip、更多带宽、同步爬取）来提高爬虫的爬行效率。

分布式爬虫的优点：

1. 可以充分利用多台机器的带宽
2. 可以充分利用多台机器的ip地址
3. 多台机器做，爬取效率更高

分布式爬虫必须要解决的问题：

1. 分布式爬虫是好几台机器在同时运行，如何保证不同的机器爬取页面的时候不会出现重复爬取的问题
2. 同样，分布式爬虫在不同的机器上运行，在把数据爬完后如何保证保存在同一个地方

安装：

通过pip install scrapy-redis即可安装

Scrapy-Redis架构：

Scrapy架构图：

Scrapy-Redis架构图：

我们可以发现，Item Pipeline在接收到数据后发送给了Redis、Scheduler调度器调度数据也是从Redis中来的、并且其实数据去重也是在Redis中做的

Scrapy-Redis流程简介：

1. 首先Slaver端从Master端拿任务（Request、url）进行数据抓取，Slaver抓取数据的同时，产生新任务的Request便提交给 Master 处理；

2. Master端只有一个Redis数据库，负责将未处理的Request去重和任务分配，将处理后的Request加入待爬队列，并且存储爬取的数据。

   Scrapy-Redis默认使用的就是这种策略，我们实现起来很简单，因为任务调度等工作Scrapy-Redis都已经帮我们做好了，我们只需要继承RedisSpider、指定redis_key就行了。

   缺点是，Scrapy-Redis调度的任务是Request对象，里面信息量比较大（不仅包含url，还有callback函数、headers等信息），可能导致的结果就是会降低爬虫速度、而且会占用Redis大量的存储空间，所以如果要保证效率，那么就需要一定硬件水平。

分布式爬虫架构图：

scrapy-redis键名介绍

scrapy-redis中都是用key-value形式存储数据，其中有几个常见的key-value形式：

1. “项目名:items” -->list 类型，保存爬虫获取到的数据item 内容是 json 字符串

2. “项目名:dupefilter” -->set类型，用于爬虫访问的URL去重 内容是 40个字符的 url 的hash字符串

3. “项目名: start_urls” -->List 类型，用于获取spider启动时爬取的第一个url

4. “项目名:requests” -->zset类型，用于scheduler调度处理 requests 内容是 request 对象的序列化 字符串

编写Scrapy-Redis分布式爬虫

要将一个Scrapy项目变成一个Scrapy-redis项目只需修改以下三点就可以了：

1. 将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider
   或者是从scrapy.CrawlSpider变成scrapy_redis.spiders.RedisCrawlSpider

   代码片段：

   from scrapy_redis.spiders import RedisSpider
   
   # class RedisDemoSpider(scrapy.Spider):
   class RedisDemoSpider(RedisSpider):
       pass
   

2. 将爬虫中的start_urls删掉，增加一个redis_key=“xxx”，这个redis_key是为了以后在redis中控制爬虫启动的，爬虫的第一个url，就是在redis中通过这个发送出去的

   代码片段：

   # class RedisDemoSpider(scrapy.Spider):
   class RedisDemoSpider(RedisSpider):
       # start_urls = ['https://www.fang.com/SoufunFamily.htm']
       redis_key="redis_demo:start_urls"
   

3. 在配置文件setting.py中增加如下配置：

   Scrapy-Redis相关配置

   1、必须) 使用了scrapy_redis的调度器，在redis里分配请求，确保request存储到redis中

   SCHEDULER = "scrapy_redis.scheduler.Scheduler"
   

   2、必须) 使用了scrapy_redis的去重组件，在redis数据库里做去重，确保所有爬虫共享相同的去重指纹

   DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
   

   3、必须) 通过配置RedisPipeline将item写入key为 spider.name : items 的redis的list中，供后面的分布式处理item，这个已经由scrapy-redis 实现，不需要我们写代码，直接使用即可

   # 设置redis为item pipeline
   ITEM_PIPELINES = {
       'scrapy_redis.pipelines.RedisPipeline': 300
   }
   

   4、可选) 在redis中保持scrapy-redis用到的队列，不会清理redis中的队列，从而可以实现暂停和恢复的功能

   SCHEDULER_PERSIST = True
   

   5、必须) 指定redis数据库的连接参数

   # 设置连接redis信息
   REDIS_HOST = '127.0.0.1'
   REDIS_PORT = 6379
   

运行爬虫：

1. 在爬虫服务器上(从机)，进入爬虫文件所在的路径，然后输入命令：scrapy runspider [爬虫名字]

2. 在Redis服务器上(主机)，推入一个开始的url链接：redis-cli> lpush [redis_key] start_url，即可开始爬取

   例如：start_url 为 https://www.jianshu.com/

   redis-cli> lpush redis_demo:start_urls https://www.jianshu.com/