Scrapyd服务 是用来部署、远程监控scrapy 的服务。
1. 环境安装
Sudo pip install scrapyd （安装scrapyd 服务端）
Sudo pip install scrapyd client （安装 scrapyd 客户端）
如果在 window 上，还需要安装 curl 包（链家下载）。并添加到环境变量（把 .exe 添加到环境变量）。
2. 运行服务端
在需要执行爬虫的远程服务器上运行scrapyd
本文详细介绍了如何使用Scrapyd服务部署和监控Scrapy爬虫任务。首先，需要安装Scrapyd服务端和客户端，接着在远程服务器上运行Scrapyd服务，然后修改scrapy.cfg文件以允许外部访问。在客户端，通过scrapyd-deploy命令将项目部署到Scrapyd，并使用curl命令启动和停止爬虫任务。注意，如果遇到Python版本或Scrapyd版本问题，可能需要修改Scrapyd源码。
最低0.47元/天 解锁文章
扫一扫
239
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
