爬虫部署
scrapyd
1. 服务端安装 pip install scrapyd
2. 客户端安装 pip install scrapyd-client
3. 服务端 有个设置文件 :conf配置文件 bind_address = 0.0.0.0; 允许所有的IP访问
4. 项目配置:
原始样子
[deploy]
#url = http://localhost:6800/
project = Tencent
设置之后
[deploy:scrapyd_Tencent]
url = http://localhost:6800/
project = Tencent
5. 开启服务 scrapyd
6. 发布爬虫的项目
6.1 cd 到爬虫项目 的路径
6.2 部署
scrapyd-deploy scrapyd_Tencent -p Tencent
7.开启爬虫
curl http://localhost:6800/schedule.json -d project=BOOK -d spider=book_redis
curl http://localhost:6800/schedule.json -d project=BOOK -d spider=book_redis
8.关闭爬虫
curl http://localhost:6800/cancel.json -d project=BOOK -d job=0c46dddc0be311e9baefacbc329a1151
curl http://localhost:6800/cancel.json -d project=BOOK -d