如果需要了解分布式爬虫管理平台gerapy下载和安装以及部署全流程,请看上一篇
分布式爬虫管理平台gerapy下载和安装以及部署全流程(一)
1、在需要添加主机的机子上配置scrapyd
修改这两个参数
2、在需要添加主机的机子上运行scrapyd
输入scrapyd命令即可,当然前提是安装好了scrapyd
安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple Scrapyd
执行
Scrapyd
3、在安装gerpy的服务器上添加主机
填入参数
名称随意,IP可以输入本机I