服务器 scrapy 部署小实例(scrapyd + supervisor)
本项目仅供学习交流,请勿商用;
CentOS7中爬虫部署一、创建项目二、项目代码三、运行命令四、服务器部署1、安装 scrapyd2、配置3、开启 5000 和 6800 端口4、开启服务测试5、安装 scrapyd-client6、开始运行五、supervisor 守护进程1、安装2、supervisor 配置文件3、添加 scrapyd 的配置文件4、spiderkeeper(用于web管理爬...
原创
2020-02-25 15:08:00 ·
1058 阅读 ·
0 评论