分布式爬虫scrapy+redis入门

利用分布式爬虫scrapy+redis爬取伯乐在线网站，网站网址：http://blog.jobbole.com/all-posts/
后文中详情写了整个工程的流程，即时是新手按照指导走也能使程序成功运行。

1.下载64位redis软件

软件很小，4M，下载链接: https://pan.baidu.com/s/14mjeLoYJ_aFA91jq2oe2-g 密码: 4nex
下载后解压，文件夹内下图所示：

redis文件夹.png

2.开启redis服务

在资源管理器的路径中输入cmd，并按Enter进入命令行。
这一步的作用是cmd打开时就在此目录下。

image.png

进入命令行后，输入命令： redis-server redis.windows.conf

输入命令.png

命令运行结果如下图所示：

命令运行结果.png

在之后的操作步骤中，都需要 保持此cmd不被关闭。
只有开启数据库服务，才能访问数据库，这是 软件行业人员的常识。

3.安装scrapy-r