基于scrapy-redis的分布式爬虫配置

基于scrapy的爬虫只能是单机式爬虫，而借助scrapy-redis可实现分布式爬虫

首先要安装scrapy-redis

pip install scrapy-redis

在此之前，应该已经装好了scrapy和redis
新建一个scrapy项目和爬虫文件

修改setting文件

# 使用scrapy_redis的去重组件，在redis数据库里做去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 使用scrapy_redis的调度器，在redis里分配请求
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 在redis中保持scrapy-redis用到的各个队列，从而允许暂停和暂停后恢复，也就是不清理redis queues
SCHEDULER_PERSIST = True
# 指定爬虫起始URL类型为set
REDIS_START_URLS_AS_SET = True
# 指定redis数据库的连接参数
REDIS_HOST = '192.168.1.11'
REDIS_PORT = 6379

修改爬虫文件

引入RedisSpider，让爬虫类继承RedisSpider

设置redis_key

将start_urls 放入redis的set中
只需要在爬虫parse前指定redis_key
爬虫即可从redis中获取指定key的value（链接）进行爬取