scrapyd官方文档
http://scrapyd.readthedocs.io/en/stable/overview.html
首先,我们来了解一下什么是scrapyd
- scrapyd是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本。
为什么要使用scrapyd
- 1、可以避免爬虫源码被看到。
- 2、有版本控制。
- 3、可以远程启动、停止、删除。
怎样安装scrapyd
- 1,安装scrapyd
主要有两种安装方式:
pip install scrapyd (安装的版本可能不是最新版本)
从 https://github.com/scrapy/scrapyd 中下载源码,
运行python setup.py install 命令进行安装 - 2, 安装 scrapyd-deploy
主要有两种安装方式:
pip install scrapyd-client(安装的版本可能不是最新版本)
从