scrapyd和gerapy部署分布式爬虫

关于gerapy框架知识可以通过了解一下崔庆才的博客来获取

gerapy基于scrapyd等模块。。功能非常实用。。可以简化分布式爬虫的步骤并且非常直观的表现出来！

1，前置配置

1，下载gerapy包   pip install gerapy

2,在非c盘新建文件夹  例如（spider_gerapy）

3，在该文件夹下打开命令窗口 输入gerapy_init 初始化(出现了gerapy文件夹)

4，进入gerapy文件  命令行输入gerapy_migrate 创建数据表

5，当前命令行输入gerapy_runserver启动服务

6,浏览器输入127.0.0.1:8000

 创建用户（开启scrapyd   因为gerapy是基于scrapyd的）

 结果

 注意：如果没有开启服务 则方框内将会报错，所以必须把scrapyd以及gerapy服务开启

2&#x