一、scrapyd
pip install scrapyd
需要两个东西:
scrapyd是一个服务器,还需要一个client
二、scrapyd-client:
pip install scrapyd-client
打包本地爬虫,传到scrapyd
三、
修改项目下的scrapy.cfg文件。
[settings]
default = zhisousou.settings
[deploy:mingbo]
url = http://localhost:6800/
project = zhisousou
在安装路径的Scripts目录下会出现一个文件:scrapyd-deploy
新建scrapyd-deploy.bat文件(windows下的问题,linux不需要)
@echo off
#python执行路径 #scrapyd-deploy路径
"G:\anaconda\python.exe" "G:\anaconda\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
开始运行
scrapyd-deploy mingbo -p zhisousou
四、教程
https://scrapyd.readthedocs.io/en/stable/api.html#listspiders-json
对爬虫的启动与停止:
$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider #启动
$ curl http://localhost:6800/cancel.json -d project=myproject -d job=6487ec79947edab326d6db28a2d86511e8247444 #停止
$ curl http://localhost:6800/listversions.json?project=myproject #myproject下的所有爬虫,scrapyd可以部署多个项目。