基于Scrapy_redis部署scrapy分布式爬虫

1 . 使用命令行工具下载工具包 scrapy_redis 注意：要在自己使用的环境中下载安装包

2. 使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器

3. 修改spider爬虫文件

4. 如果连接的有远程服务,例如MySQL,Redis等,需要将远程服务连接开启,保证在其他主机上能够成功连接。
如果redis想访问远程的redis服务器，需要解除保护模式做法
1） 在远程服务器登录redis-cli
2） 输入命令
config set protected-mode “no” 回车

5.如果连接不成功，可尝试以下操作：

6. 配置远程连接的MySQL及redis地址
注意：为确保每一台主机正常连接，要关掉防火墙

7. 总结：
   分布式用到的代码是同一套代码
   1） 先把项目配置为分布式
   2） 把项目拷贝到多台服务器中
   3） 把所有爬虫项目都跑起来
   4） 在主redis-cli中lpush你的网址即可
   5） 效果：所有爬虫都开始运行，并且数据还都不一样