本文详细介绍了如何进行爬虫的部署，包括使用pip3安装scrapyd和scrapyd-client，以及本地和远程部署的步骤。本地部署涉及项目部署命令，远程部署则讲解了添加三方库、修改scrapyd配置文件以允许外网访问，并配置云主机安全组。此外，还介绍了Gerapy这一分布式爬虫管理框架，它能简化爬虫的运行、状态查看、结果展示、项目部署和主机管理，且支持在线编辑代码。
爬虫部署需要先下载插件
pip3 install scrapyd
scrapyd：是运行scrapy爬虫的的服务程序，它支持以http命令方式发布，删除，启动，停止爬虫程序。而且，scrapyd可以同时管理多个爬虫还可以有多个版本
pip3 install scrapyd-client
scrapyd-client：是发布爬虫需要使用的另一个专用共具，就是将代码打包为EGG文件，其次需要将EGG文件上传到远程主机上这些操作需要scrapyd-client来帮助我们完成
安装完可以用检测是否安装成功
scrapyd-deploy -h
本地部署
项目部署相关命令： 注意这里是项目的名称而不是工程的名称
scrapyd-deploy -p <项目名称>
也可以指定版本号：
scrapyd-deploy -p <项目名称> --version <版本号>
运行：
$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
暂停：
curl http://localhost:6
最低0.47元/天 解锁文章
505
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
