scrapyd部署

使用docker创建2个容器作为爬虫的服务器

使用docker run 运行容器，并指定端口

docker run -itd  -p 9901:22   --name ubantu1 docker.io/ubuntu:latest /bin/bash

停止容器 ：docker stop f7fe504ac8c8(CONTAINER ID)

使用docker ps查看容器运行状态

 

在两台服务器上安装scrapyd,scrapy,宿主机安装scrapy-client：

直接命令安装： pip  install scrapyd

安装完成后修改默认的配置文件default_scrapyd.conf

将default_scrapyd.conf拷贝到/etc/scrapyd/scrapyd.conf

并将默认绑定的127.0.0.1ip修改为服务端ip

 

将代码上传至宿主机上

进入爬虫的项目配置文件所在目录
#部署分布式爬虫
scrapyd-deploy -a 
#启动分布式爬虫
curl http://172.17.0.3:6800/schedule.json -d project=projectname -d spider=spidername
curl http://172.17.0.2:6800/schedule.json -d project=projectname -d spider=spidername
#关闭分布式爬虫
curl http://172.17.0.3:6800/cancel.json -d project=projectname -d job=f13e4276134e11eba24b0242ac110003
curl http://172.17.0.2:6800/cancel.json -d project=projectname -d job=f4a3869c134e11eb8fec0242ac110002