scrapy项目部署

1.安装scrapyd

pip install scrapyd 输入scrapyd 可以点击页面

pip install scrapyd-client 到scrapy项目下面 输入 scrapyd-deploy 出现 Unknown target:default

2.scrapy.cfgs设置

[deploy : spider]       #1部署名称可以无默认为空
url = http://localhost:6800/        #url必须有可以是远程服务器project = douban
#项目名称不要删掉
username=xXX
访问服务器需要的用户名和密码(可以不写)
password=xxx
scrapyd-deploy -l    查看部署名称和url

3.执行打包命令

scrapyd-deploy spider -p db

出现

{"node_name": "DESKTOP-96JBFJ5", "status": "ok", "project": "db", "version":
"1641562105", "spiders": 1}

 4.启动爬虫

                                                                                  项目名称    爬虫名称

curl http://localhost:6800/schedule.json -d project=douban -d spider=db

出现
 

{"node_name": "DESKTOP-96JBFJ5", "status": "error", "message": "Scrapy 2.5.1
- no active project\r\n\r\nUnknown command: list\r\n\r\nUse \"scrapy\" to see
 available commands\r\n"}

5.关闭

关闭爬虫：curl http://localhost:6800/cancel.json -d project=project_name -d job=jobid