scrapy_redis分布式爬虫

1.在命令行工具中进入自己的虚拟环境下载scrapy_redis工具包

 

2.打开自己的爬虫程序，找到settings文件，配置scrapy的调度器和过滤器

就是在settings文件最后加入两句话:

           SCHEDULER = "scrapy_redis.scheduler.Scheduler"

            DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

           如下图所示：

 

 

当需要把数据存储到redistribute中时在ITEM_PIPELINES中进行上图配置

 

3.修改spider爬虫文件

先引入scrapy-redis中的爬虫类： from scrapy_redis.spiders import RedisSpider

再修改爬虫类继承的父类为RedisSpider

其次把start_urls注释掉，不要删掉，之后会用这个值作为网址，来启动爬虫

最后写一个redis_key文件来代替start_urls,如：redis_key = 'yunqi:start_urls', 之后这个值会用作redis读取url地址的标识

 

4.连接远程服务MySQL,Redis,将远程服务连接开启，保证其他主机能够连接，并进行相关配置

 

打开mysql中的user表，将其中的root账户的Host更改为%，即可进行远程访问

之后，一定要进行刷新权限，不刷新就不能访问

 

5.配置远程连接MySQLA和redis地址

 

配置MYSQL_HOST 为自己的本机地址，并在最下面写入REDIS_URL = 'redis://root:@192.168.9.211:6379'

@后为自己的默认地址，：后为redis端口号

 

6.以上步骤完成后开始运行调试项目,打开cmd命令行工具，先进入自己redis的安装目录，再进入自己的环境，开启redis服务，如下步骤:

 

再另开一cmd命令，先进入自己redis的安装目录，再进入自己的环境，输入redis-cli,再进行服务器连接输入lpush redis_key的值 网址,如下图所示

 

7.点击运行项目，出现下图则表示成功插入数据库