Scrapyd 使用

Scrapyd 安装

在 Linux 服务器终端运行如下命令

pip3 install scrapyd

---

服务器的爬虫各种命令

列出所有爬虫项目

curl http://localhost:6800/listprojects.json

列出项目版本

curl http://localhost:6800/listversions.json?project=myproject

启动爬虫

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider

查看爬虫

curl http://localhost:6800/listjobs.json?project=myproject

取消爬虫

curl http://localhost:6800/cancel.json -d project=myproject -d　job=6487ec79947edab326d6db28a2d86511e8247444

如果 scrapyd 服务器开启了远程访问，则需要将添加–user才能访问

curl --user name:password example.com