pyhton分布式爬虫存入redis布署

1.分布式需要有一个主机，这个主机无论是你存入那个数据库，都必须配置一下这个数据库。下面是redis的介绍，使其他副机连接上你的redis，需要配置你的redis配置文件。
windows
（1）找到你的安装路径，下面会有redis.windows-service.conf和redis.windows.conf
（2）如果两个都有修改redis.windows-service.conf，如果没有redis.windows-service.conf，修改redis.windows.conf
（3）把里面的bind 127.0.0.1注释掉或者改成bind 0.0.0.0保存即可。
（4）再把下面的protected-mode yes改成protected-mode no即可。
（5）net stop redis
（6）net start redis
ubuntu：
（1）打开终端输入whereis redis找到redis
（2）在这个目录下有一个redis.conf
（3）然后sudo vi redis.conf
（4）把里面的bind 127.0.0.1注释掉或者改成bind 0.0.0.0保存即可。
（5）service redis restart

	注意：ubuntu下也可能会出现protected-mode yes，如果有改成no，但是我没有遇见。protected-mode yes在bind下面20行左右可以找到。
	如果端口被防火墙禁了，设置成允许防火墙通过，或者关闭防火墙。
	上述完成之后都需要重新启动redis才能成功远程连接。
	而且，你如果用linux在装scrapy时会遇到一些问题。具体解决见下一篇博文。