最近在学习scrapy,发现scrapy简单易学而且稳定高效,想架设了爬虫服务器供其他同事使用,发现scrapyd提供了很好的web接口,稍加改动就可以远程管理爬虫,下达爬虫 任务,监测爬虫状态。很是方便,便拿来研究:
1.scrapyd安装:
使用pip安装
pip install scrapyd
2.启动scrapyd:
cd c:\Python27\Scripts
python scrapyd
如图
3.部署工程:
切换 到 工程目录,编辑 scrapy.cfg,把 #url = :6800/ 前面的 #号去掉。
编辑deploy相关信息,由于本人在服务端本地使用,所以目标地址为localhost,scrapy.cfg内容如下: