使用scrapyd部署爬虫

一、scrapyd

pip install scrapyd

需要两个东西：

scrapyd是一个服务器，还需要一个client

二、scrapyd-client：

pip install scrapyd-client

打包本地爬虫，传到scrapyd

三、

修改项目下的scrapy.cfg文件。

[settings]
default = zhisousou.settings

[deploy:mingbo]
url = http://localhost:6800/
project = zhisousou

在安装路径的Scripts目录下会出现一个文件：scrapyd-deploy

新建scrapyd-deploy.bat文件（windows下的问题，linux不需要）

@echo off

#python执行路径                  #scrapyd-deploy路径
"G:\anaconda\python.exe" "G:\anaconda\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

开始运行

scrapyd-deploy mingbo -p zhisousou

四、教程

https://scrapyd.readthedocs.io/en/stable/api.html#listspiders-json

对爬虫的启动与停止：

$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider   #启动

$ curl http://localhost:6800/cancel.json -d project=myproject -d job=6487ec79947edab326d6db28a2d86511e8247444   #停止

$ curl http://localhost:6800/listversions.json?project=myproject #myproject下的所有爬虫，scrapyd可以部署多个项目。