将scrapy爬虫改写为分布式爬虫redis-scrapy
1,进入settings.py
# 以下是加入的内容
# 1.(必须加)。使用scrapy_redis.duperfilter.REPDupeFilter的去重组件,在redis数据库里做去重。
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 2.(必须加)。使用了scrapy_redis的调度器,在redis里面分配请求。...
原创
2019-09-07 17:48:10 ·
162 阅读 ·
0 评论