Scrapy-redis常用设置项

#重复过滤器模块
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
#调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
#爬虫结束时是否保持redis数据库中的去重集合和任务队列
SCHEDULER_PERSIST = True
#管道
ITEM_PIPELINES = {
    'example.pipelines.ExamplePipeline': 300,
    #自动存储任务队列
    'scrapy_redis.pipelines.RedisPipeline': 400,
}

#redis配置
REDIS_URL ="redis://0.0.0.0:6379"