Scrapyd是一个用于部署和运行Scrapy项目的工具,有了它,你可以将写好的Scrapy项目上传到云主机并通过API来控制它的运行。
既然是Scrapy项目部署,基本上都使用Linux主机,所以本节的安装是针对于Linux主机的。
- 相关链接
GitHub:https://github.com/scrapy/scrapyd
PyPI:https://pypi.python.org/pypi/scrapyd
官方文档:https://scrapyd.readthedocs.io - pip安装
这里推荐使用pip安装,命令如下:
pip3 install scrapyd
- 配置
安装完毕之后,需要新建一个配置文件/etc/scrapyd/scrapyd.conf,Scrapyd在运行的时候会读取此配置文件。
在Scrapyd 1.2版本之后,不会自动创建该文件,需要我们自行添加。
首先,执行如下命令新建文件:
sudo mkdir /etc/scrapyd
sudo vi /etc/scrapyd/scrapyd.conf
接着写入如下内容:
[scrapyd]
eggs_dir = eggs
logs_dir = logs
items_dir =
jobs_to_keep = 5
dbs_dir = dbs
max_proc = 0
max_proc_per_cpu = 10
finished_to_keep = 100
poll_interval = 5.0
bind_addr