Scrapyd-Client

scrapyd-client

scrapyd通过HTTP接口控制任务的运行，但是部署过程有一点不方便，需要先打包Egg文件然后上传，这样比较繁琐。
使用scrapy-client来完成部署过程，就十分的方便。

Scrapyd-Client 为了方便 Scrapy 项目的部署，提供两个功能：
将项目打包成 Egg 文件。

• 将打包生成的 Egg 文件
• 通过 addversion.json 接口部署到 Scrapyd 上。

也就是说，Scrapyd-Client 帮我们把部署全部实现了，我们不需要再去关心 Egg 文件是怎样生成的，也不需要再去读 Egg 文件并请求接口上传了，这一切的操作只需要执行一个命令即可一键部署。

部署：

部署 Scrapy 项目，我们首先需要修改一下项目的配置文件scrapy.cfg，它的内容如下：

[settings]
default = weibo.settings

[deploy]
#url = http://localhost:6800/
project = weibo

在这里我们需要配置一下 deploy 部分，例如我们要将项目部署到 120.27.34.25 的 Scrapyd 上，就需要修改为如下内容：

[deploy]
url = http://120.27