（二十）python网络爬虫（理论+实战）：scrapy分布式爬虫快速部署之Scrapyd详解

系列文章： python网络爬虫专栏  

目录

12 Scrapyd实现scrapy分布式爬部署

     12.1 分布式爬虫部署问题

   12.2 什么是Scrapyd

    12.3 Scrapyd的安装和部署

       12.3.1 各个爬虫机器上安装Scrapyd环境

       12.3.2  本机安装Scrapyd环境

    12.3.3  部署爬虫程序

  12.4 Scrapyd控制爬虫

 12.4.1  使用JSON API控制爬虫

12.4.2 Python-Scrapyd-API 库控制爬虫

12.4.3 Scrapyd 仪表板控制爬虫

总结

---

序言

      本人从事爬虫相关工作已8年以上，从一个小白到能够熟练使用爬虫，中间也走了些弯路，希望以自身的学习经历，让大家能够轻而易举的，快速的，掌握爬虫的相关知识并熟练的使用它，避免浪费更多的无用时间，甚至走很大的弯路。欢迎大家留言，一起交流讨论。

---