基于Scrapy_redis部署scrapy分布式爬虫

1.使用命令行工具下载工具包 scrapy_redis，如果有自己的环境先进入自己的环境中再进行下载

2. 使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器

 

 3.修改spider爬虫文件

4.如果连接的有远程服务,例如MySQL,Redis等,需要将远程服务连接开启,保证在其他主机上能够成功连接，找到MySQL之中的一个名为user的表，将locallhost修改为%，这样别人才可以对你的数据库进行连接，修改后要刷新一下权限，否则还是无法链接

 

 5.配置远程连接的MySQL及redis地址

 分布式用的都是同一套代码，将写好的项目配置为分布式，然后拷贝到多台电脑，其他电脑只需跑代码即可，无须做其他的修改，

在主机redis-cli 中Lpush你的网址即可。。。

下面是一些redis的调试及运行

开启后不要关闭，否则无法运行链接

测试链接redis

如果redis想访问远程的redis服务器，需要解除保护模式
1） 在远程服务器登录redis-cli
2） 输入命令config set protected-mode "no"  回车

最好是将防火墙也关闭，防火墙也会阻止其它IP的链接

redis默认绑定到127.0.0.1，即本地所以需要开启