scrapyd本地部署，远端部署，利用gerapy部署

scrapyd 本地部署

scrapyd
是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本

• pip3 install scrapyd

scrapyd-client发布爬虫需要使用另一个专用工具，就是将代码打包为EGG文件，其次需要将EGG文件上传到远程主机上这些操作需要scrapyd-client来帮助我们完成

• pip3 install scrapyd-client

安装完成后可以使用如下命令来检查是否安装成功

• scrapyd-deploy -h

启动scrapyd

• scrapyd

修改scrapy项目目录下的scrapy.cfg配置文件

[deploy] 
url=http://localhost:6800 
project=项目名称

本地部署
本地部署
项目部署相关命令： 注意这里是项目的名称而不是工程的名称

• scrapyd-deploy -p <项目名称>

也可以指定版本号

• scrapyd-deploy -p <项目名称> --version <版本号>

爬虫运行相关命令
详情参考：https://scrapyd.readthedocs.io/en/latest/api.html

远端部署

配置服务器

1.购买Linux系统服务器
2.在终端上登录系统