敖夜肝了这份Scrapyd核心源码剖析及爬虫项目实战部署

1. Scrapyd它是什么

  scrapyd它是Scrapy爬虫框架团队所开发，用于部署 Scrapy项目并让使用者能够通过网络请求向爬虫发出指令的应用程序。使用它我们可以非常方便地上传，控制爬虫和查看运行日志

可以参考Scrapyd官方文档

它便捷的功能、丰富的组件、强大的异步处理能力以及良好的技术生态，让它在爬虫界所向披靡。无论是爬虫萌新、还是纵横沙场的爬虫老司机，Scrapy都将是你职业道路上的必经之路

  scrapyd跟Scrapy启动爬虫的方式其实是一样的，不同的是它提供一个JSON Web服务监听的请求。我们可以从任何一台可以连接到服务器的电脑发送请求安排爬虫运行，或者停止运行运行的爬虫。

我们可以使用它提供的API上传新爬虫而不必登录到服务器上进行操作，也可以使用API灵活的管理我们的爬虫

2. Scrapyd安装与启动

首先我们需要使用pip安装它：

pip install scrapyd

使用