1,进入settings.py
# 以下是加入的内容
# 1.(必须加)。使用scrapy_redis.duperfilter.REPDupeFilter的去重组件,在redis数据库里做去重。
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 2.(必须加)。使用了scrapy_redis的调度器,在redis里面分配请求。
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 3.(必须加)。在redis queues 允许暂停和暂停后恢复,也就是不清理redis queues
SCHEDULER_PERSIST = True
# 4.(必须加)。通过RedisPipeline将item写入key为 spider.name: items的redis的list中,供后面的分布式处理item。
# 这个已经由scrapy-redis实现了,不需要我们自己手动写代码,直接使用即可。
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 100
}
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379