【Python爬虫】 轻松几步 将 一个 scrapy项目 变成 scrapy_redis 分布式爬取
分布式爬虫: 一般用于 爬取数量巨大 , 短时间快速爬取
将一个正常的scrapy项目改成 scrapy_redis 分布式爬取 只需 几步简单的添加配置即可 :
setting.py 文件中 的参数配置:
添加:
# 使用的是scrapy_redis的去重类
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilte...
原创
2018-09-04 10:30:51 ·
1104 阅读 ·
0 评论