RedisSpider的settings信息，往settings文件里增加以下的配置信息后可以把普通的scrapy变成RedisSpider或者RedisCrawlSpider来用。当然还要改变继承等

1. 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化

DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter”

2. 增加了调度的配置, 作用: 把请求对象存储到Redis数据, 从而实现请求的持久化.

SCHEDULER = “scrapy_redis.scheduler.Scheduler”

3. 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set

如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据

SCHEDULER_PERSIST = True

4.1 方式1:

REDIS_HOST = ‘127.0.0.1’

REDIS_PORT = 6379

4.2 方式2: redis_url进行配置(推荐)

REDIS_URL = ‘redis://127.0.0.1:6379/3’

5. 如果需要把数据存储到Redis数据库中, 可以配置RedisPipeline

ITEM_PIPELINES = {
# 把爬虫爬取的数据存储到Redis数据库中
‘scrapy_redis.pipelines.RedisPipeline’: 400,
}