远程管理爬虫服务器——scrapyd 使用小记

本文介绍了如何使用scrapyd搭建和管理远程爬虫服务器,包括scrapyd的安装、启动、部署工程、远程启动爬虫及详细API的使用,旨在提供一种便捷的爬虫任务管理和监控解决方案。
摘要由CSDN通过智能技术生成

最近在学习scrapy,发现scrapy简单易学而且稳定高效,想架设了爬虫服务器供其他同事使用,发现scrapyd提供了很好的web接口,稍加改动就可以远程管理爬虫,下达爬虫 任务,监测爬虫状态。很是方便,便拿来研究:

1.scrapyd安装:

使用pip安装

pip install scrapyd

2.启动scrapyd:

cd c:\Python27\Scripts
python scrapyd

如图
windows 7 使用 scrapyd 监控 scrapy的 spider

3.部署工程:

切换 到 工程目录,编辑 scrapy.cfg,把 #url = :6800/ 前面的 #号去掉。
编辑deploy相关信息,由于本人在服务端本地使用,所以目标地址为localhost,scrapy.cfg内容如下:
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值