scrapyd-爬虫的远程部署和监控

scrapydweb：实现scrapyd集群管理，scrapy日志分析和可视化

第一步：安装scrapyd服务端和客服端工具

安装scrapyd服务端：sudo pip install scrapyd
安装scrapy客服端工具：sudo pip install scrapyd-client
启动scrapy服务端：scrapyd

第二步：修改scrapyd的配置文件
sudo vi /usr/local/lib/python2.7/site-packages/scrapyd/default_scrapyd.conf

bind_address的值修改为0.0.0.0，表示允许任何客户端访问scrapyd服务器在启动scrapyd服务端 scrapyd
浏览器打开：http://本机ip：6800 查看scrapyd监控信息

第三步：配置scrapy项目下的scrapyd配置
1、打开scrapyd项目下的scrapyd.cfg文件，配置scrapyd的配置名，以及ip和port，以及当前项目名

在deploy后面指定当前项目的scrapyd配置名，
url：http://192.168.14.254；6800
project=项目的名字

第四步;通过scrapyd客服端工具挂载项目

第五步：远程启动和停止爬虫