分布式爬虫的部署之Scrapyd-Client的使用

这里有现成的工具来完成部署过程，它叫作Scrapyd-Client。本节将简单介绍使用Scrapyd-Client部署Scrapy项目的方法。

一、准备工作

请先确保Scrapyd-Client已经正确安装。

二、Scrapyd-Client 的功能

Scrapyd-Client为了方便Scrapy项目的部署，提供如下两个功能。

• 将项目打包成Egg文件。

• 将打包生成的Egg文件通过addversion.json接口部署到Scrapyd上。

Scrapyd-Client帮我们把部署全部实现了，我们不需要再去关心Egg文件是怎样生成的，也不需要再去读Egg文件并请求接口上传了，只需要执行一个命令即可一键部署。

三、Scrapyd-Client 部署

要部署Scrapy项目，我们首先需要修改项目的配置文件。例如之前写的Scrapy微博爬虫项目，在项目的第一层会有一个scrapy.cfg文件，它的内容如下：

[settings]
default = weibo.settings

[deploy]
#url = http://localhost:6800/
project = weibo复制代码

这里需要配置一下deploy部分。例如我们将项目部署到120.27.34.25的Scrapyd上，则修改内容如下：

[deploy]
url = http://120.27.34.25:6800/
project = weibo复制代码

这样我们再在scrapy.cfg文件所在路径执行如下命令：

scrapyd-deploy复制代码

运行结果如下：

Packing version 1501682277
Deploying to project "weibo" in http://120.27.34.25:6800/addversion.json
Server response (200):
{"status": "ok", "spiders": 1, "node_name": "datacrawl-vm", "project": "weibo", "version": "1501682277"}复制代码

返回的结果表示部署成功了。

项目版本默认为当前时间戳。我们也可以指定项目版本，通过version参数传递即可。例如：

scrapyd-deploy --version 201707131455复制代码

值得注意的是，在Python 3的Scrapyd 1.2.0版本中，版本号不能指定为带字母的字符串，它们必须为纯数字，否则会出现报错。

如果有多台主机，我们可以配置各台主机的别名，修改配置文件为：

[deploy:vm1]
url = http://120.27.34.24:6800/
project = weibo

[deploy:vm2]
url = http://139.217.26.30:6800/
project = weibo复制代码

在此统一配置多台主机，一台主机对应一组配置，在deploy后面加上主机的别名即可。如果想将项目部署到IP为139.217.26.30的vm2主机，我们只需要执行如下命令：

scrapyd-deploy vm2复制代码

如此一来，我们只需要在scrapy.cfg文件中配置好各台主机的Scrapyd地址，然后调用scrapyd-deploy命令加主机名称即可实现部署。

如果Scrapyd设置了访问限制，我们可以在配置文件中加入用户名和密码的配置，同时修改端口成Nginx代理端口。例如，在第1章我们使用的是6801，那么这里就需要改成6801，修改如下：

[deploy:vm1]
url = http://120.27.34.24:6801/
project = weibo
username = admin
password = admin

[deploy:vm2]
url = http://139.217.26.30:6801/
project = weibo
username = germey
password = germey复制代码

通过加入username和password字段，我们就可以在部署时自动进行Auth验证，然后成功实现部署。

四、结语

本节介绍了利用Scrapyd-Client来方便地将项目部署到Scrapyd的过程，有了它部署不再是麻烦事。

本资源首发于崔庆才的个人博客静觅： Python3网络爬虫开发实战教程 | 静觅

如想了解更多爬虫资讯，请关注我的个人微信公众号：进击的Coder

weixin.qq.com/r/5zsjOyvEZ… (二维码自动识别)