Python中Scrapyd和Gerapy

第一步：
安装所需的包

pip install scrapyd

pip install scrapyd-client

pip install gerapy

windows系统下需改一下文件，进入scrapyd包中，创建文件scrapyd-deploy.bat 并写入以下内容：

@echo off

"C:\****r\Scripts\python.exe" "C:\***\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

其中设置自己的pytho环境路径

第二步：

cmd进入爬虫项目测试scrapyd-deploy

scrapyd-deploy

第三步：
修改爬虫项目的scrapy.cfg文件

[deploy:备注名]
url = http://127.0.0.1:6800/
project = 项目名

第四步:
查看配置文件

scrapyd-depoly -l

第五步:
打包前检查

scrapy list

第六步:
开始打包

scrapyd-deploy 备注名 -p 项目名称

第七步:
运行，发起请求

curl http://localhost:6800/schedule.json -d project=项目名称 -d spider=爬虫名称

更多请求操作访问scrapyd手册

第八步：
配置gerapy

1. 新建建文件夹，存放部署的项目
2. 进入文件夹，gerapy init 初始化
3. 进入gerapy文件夹，gerapy migrate创建数据表
4. gerapy runserver 启动项目
5. 浏览器输入http://127.0.0.1:8000进行操作…