Gerapy分布式爬虫 本机(服务器)部署

scrapyd部署爬虫项目：

功能：用于将自己本地的爬虫代码，打包上传到服务器上，让这个爬虫在服务器上运行，可以实现对爬虫的远程管理。(远程启动爬虫，远程关闭爬虫，远程查看爬虫的一些日志。)

 

pip install scrapyd

pip install scrapyd-client==1.1

scrapyd

三个命名后已经启动,暂不要关闭,访问127.0.0.1:6800查看是否已经成功

 

暂时未完待续...文档在桌面他完整(那个文档不要看了,换个https://blog.csdn.net/weixin_42336606/article/details/81102684)

 

简单再陈述一边,上边别人的博客看不明白的话

上边

pip install scrapyd

pip install scrapyd-client==1.1

也要提前装好

..

1. 安装gerapy框架。pip install gerapy
2. 检查gerapy是否可用,cmd敲一下。  gerapy
3. 新建一个文件夹,进去路径,gerapy init.会自动在文件