Scrapy_redis部署分布式爬虫

NO.1
首先进入自己的python环境通过命令: pip install scrapy_redis 安装所需工具包。
NO.2
在爬虫项目的setting中配置
#配置scrapy使用的调度器
#配置scrapy实用的去重类
#配置存储redis，设置优先级

SCHEDULER= 'scrapy_redis.scheduler.Scheduler'
DUPEFILTER_CLASS='scrapy_redis.dupefilter.RFPDupeFilter'
ITEM_PIPELINES={
'scrapy_redis.pipelines.RedisPipeline':301
}

#修改spider
redis_key = ‘spider_name:start_urls’

NO.3
启动redis
命令行cd进入redis安装目录
启动redis命令：

redis-server.exe redis.windows.conf

若未启动关闭重启
命令：

redis-cli
shutdown
exit
redis-server.exe redis.windows.conf

NO.4
进入redis目录连接主机
命令：

redis-cli.exe -h 127.0.0.1:6379

N0.5
部署

redis-cli
lpush spider_name:start_urls 起始地址

出现（integer）1，添加成功。

NO.6
本地和远程设备运行爬虫即可。