Gerapy 分布式爬虫管理框架使用心得

要在远程服务器上布署自己的分布式爬虫，个人比较推荐gerapy爬虫管理框架。
这里就详细介绍一下gerapy的用法。

1.首先要下载grapy,同样如果使用虚拟环境做开发，以下操作全部在虚拟环境下进行，先进入命令行工具，进入虚拟环境，执行pip install gerapy

2.安装之后进行初始化，执行gerapy init
执行完毕之后，本地便会生成一个名字为 gerapy 的文件夹，接着进入该文件夹，可以看到有一个 projects 文件夹，我们后面会用到。

3.紧接着在gerapy目录下执行gerapy migrate
这样它就会在 gerapy 目录下生成一个 SQLite 数据库，同时建立数据库表。

4.gerapy这时已经配置完毕，接下来还有其他的准备工作要做
a.既然要在远程服务器（也是从属机）上的分布式爬虫，远程服务器必须开启scrapyd服务，进入scrapydtest文件，在命令行输入scrapyd。
b.主机必须在命令行中开启redis服务和scrapyd服务，保留命令行窗口
c.必须准备一套公用的分布式爬虫代码，里面的cfg文件，以及settings，爬虫文件都要配置好，备用。
d.如果要连接远程服务器，也就是从属机，每一台服务器都需要修改一个配置，如下（目的是开放权限，让主机可以连接各个从属机）：