远程管理爬虫服务器——scrapyd 使用小记

最近在学习scrapy，发现scrapy简单易学而且稳定高效，想架设了爬虫服务器供其他同事使用，发现scrapyd提供了很好的web接口，稍加改动就可以远程管理爬虫，下达爬虫 任务，监测爬虫状态。很是方便，便拿来研究：

1.scrapyd安装：

使用pip安装

pip install scrapyd

2.启动scrapyd：

cd c:\Python27\Scripts
python scrapyd

如图

3.部署工程：

切换 到 工程目录，编辑 scrapy.cfg，把 #url = :6800/ 前面的 #号去掉。

编辑deploy相关信息，由于本人在服务端本地使用，所以目标地址为localhost，scrapy.cfg内容如下：