手把手教你使用爬虫管理工具|Scrapyd的使用

Scrapyd-网页版分布爬虫管理器

 

 

scrapyd英文文档:https://scrapyd.readthedocs.io/en/stable/

scrapyd中文文档：https://piaosanlang.gitbooks.io/spiders/05day/section5.3.html

项目地址:https://github.com/scrapy/scrapyd

 

 

前言

 

      今天介绍的是scrapyd，是scrapy项目下的一个子项目，主要是用来便于管理分布式爬虫，根据上一篇分布式scrapy爬虫我们可以知道，我们写好分布式爬虫之后往往需要放到多个爬虫服务器上，当然也是可以放在一个服务器上，但是多个爬虫服务同时开启管理起来就比较麻烦，今天介绍的scrapyd就是用来管理多个并行爬虫的工具。

 

准备

 

• 电脑一台

• 服务器一台(也可以不用)

• 之前的scrapy项目----news

 

 <