linux下部署scrapy

1.如何部署scrapy
下载scrapy-client(下载地址 https://github.com/scrapy/scrapyd-client) 并进行安装,安装命令 python setup install
进入项目目录 执行scrapyd 启动服务

查看project的deploy列表

进入到project目录后执行下面的命令

scrapyd-deploy -l
如果有返回类似下面的内容的说明配置正确

scrapyd http://localhost:6800/
如果没有显示就编辑project的scrapy.cfg里面的deploy

————————-版本一版—————————-
[deploy]
url = http://localhost:6800/
project = map

进入项目目录(map目录） 执行 scrapyd-deploy default -m map –version 10(版本可选择)

————————-版本二版—————————-
[deploy]
url = http://localhost:6800/
project = map

进入项目目录(map目录） 执行 scrapyd-deploy default -m map –version 10(版本可选择)

返回信息如下

{“status”: “ok”, “project”: “map”, “version”: “1348817612”, “spiders”: 1}

运行jobs
部署完成后使用curl提交信息到scrapyd就可以运行指定的spiders了

curl http://localhost:6800/schedule.json -d project=map -d spider=gaode

执行上条命令后 就会执行gaode这个任务，像当于在命令行执行 scrapy crawl gaode

参考API接口： https://scrapyd.readthedocs.io/en/latest/api.html

curl http://localhost:6800/cancel.json -d project=map -d job=2df75e38798311e6a9e74437e6ddc10a

curl http://localhost:6800/listprojects.json

curl http://localhost:6800/listversions.json?project=map

curl http://localhost:6800/listspiders.json?project=map

curl http://localhost:6800/listjobs.json?project=map

curl http://localhost:6800/delversion.json -d project=myproject -d version=r99

curl http://localhost:6800/delproject.json -d project=myproject