python分布式爬虫代码_Python分布式爬虫：爬取房天下数据

原标题：Python分布式爬虫：爬取房天下数据

第一步安装redis

redis在windows系统中的安装与启动：

下载：redis官方是不支持windows操作系统的。但是微软的开源部门将redis移植到了windows上。因此下载地址不是在redis官网上。而是在github上：https://github.com/MicrosoftArchive/redis/releases。

Python学习资料或者需要代码、视频加Python学习群：960410445

安装：点击一顿下一步安装就可以了。

运行：进入到redis安装所在的路径然后执行redis-server.exe redis.windows.conf就可以运行了。

连接：redis和mysql以及mongo是一样的，都提供了一个客户端进行连接。输入命令redis-cli(前提是redis安装路径已经加入到环境变量中了)就可以连接到redis服务器了。

其他机器访问本机redis服务器：

想要让其他机器访问本机的redis服务器。那么要修改redis.conf的配置文件，将bind改成bind [自己的ip地址或者0.0.0.0]，其他机器才能访问。

注意：bind绑定的是本机网卡的ip地址，而不是想让其他机器连接的ip地址。如果有多块网卡，那么可以绑定多个网卡的ip地址。如果绑定到额是0.0.0.0，那么意味着其他机器可以通过本机所有的ip地址进行访问。

对redis的操作

对redis的操作可以用两种方式，第一种方式采用redis-cli，第二种方式采用编程语言，比如Python、PHP和JAVA等。

使用redis-cli对redis进行字符串操作：

启动redis：

sudo service redis-server start

连接上redis-server：

redis-cli -h [ip] -p [端口]

添加：

set key value

如：

set username xiaotuo

将字符串值value关联到key。如果key已经持有其他值，set命令就覆写旧值，无视其类型。并且默认的过期时间是永久，即永远不会过期。

删除：

del key

如：

del username

设置过期时间：

expire key timeout(单位为秒)

也可以在设置值的时候，一同指定过期时间：

set key value EX timeout

或：

setex key timeout value

查看过期时间：

ttl key

如：

ttl username

查看当前redis中的所有key：

keys *

第二步创建项目

第三步设置settings.py文件

在middlewares.py文件添加以下内容

责任编辑：