scrapy_redis 实现多进程配置部分代码

# 启用Redis调度存储请求队列
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 确保所有的爬虫通过Redis去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 不清除Redis队列、这样可以暂停/恢复 爬取
SCHEDULER_PERSIST = True
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379
#下面为将数据库切换到数据库11
REDIS_PARAMS = {
'db': 11
}
# 启动分布式爬虫
# # redis-cli lpush mzz:start_urls http://mzitu.com

下面为插入起始网站的脚本

import redis
r = redis.Redis(host='127.0.0.1', port=6379,db=11)
r.lpush('xiaoshuo:start_urls','http://www.x23us.com/')

转载于:https://www.cnblogs.com/mypath/p/9056239.html