如何将scrapy项目转换成scrapy-redis分布式爬虫

1. 将爬虫继承的类从 scrapy.Spider 变成 scrapy_redis.spiders.RedisSpider（或者先import (from scrapy_redis.spiders import RedisSpider)）；或者是从 scrapy.CrawlSpider 变成 scrapy_redis.spiders.RedisCrawlSpider。
2. 将爬虫中的start_urls删掉。增加一个redis_key="xxx"。这个redis_key是为了以后在redis中控制爬虫启动的。爬虫的第一个url，就是在redis中通过这个发送出去的。
3. 修改配置文件：

    # Scrapy-Redis相关配置
       # 确保request存储到redis中
       SCHEDULER = "scrapy_redis.scheduler.Scheduler"
   
       # 确保所有爬虫共享相同的去重指纹
       DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
   
       # 设置redis为item pipeline
       ITEM_PIPELINES = {
           'scrapy_redis.pipelines.RedisPipeline': 300
       }
   
       # 在redis中保持scrapy-redis用到的队列，不会清理redis中的队列，从而可以实现暂停和恢复的功能。
       SCHEDULER_PERSIST = True
   
       # 设置连接redis信息
       # REDIS_HOST = '127.0.0.1'
       REDIS_HOST = '192.168.43.251'
       REDIS_PORT = 6379

    

4. 运行爬虫：

         在爬虫服务器上。进入爬虫文件所在的路径，然后输入命令：scrapy runspider [爬虫名字]。

         在Redis服务器上，推入一个开始的url链接：redis-cli> lpush [redis_key] start_url开始爬取。