写在前面
本篇博客内容其实和上一篇涉及的内容类似,都是爬虫管理平台。你可以通过搜索引擎找到爬虫管理平台的定义:
爬虫管理平台是一个一站式管理系统,集爬虫部署、任务调度、任务监控、结果展示等模块于一体,通常配有可视化 UI 界面,可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的,可以在多台机器上协作运行。
目前在市场上流通的一些开源爬虫管理平台如下
Scrapydweb
上篇博客介绍的,采用Flask+VUE实现,UI比较美观,支持scrapy日志解析、节点管理、定时任务、邮件提醒等功能,但是不支持scrapy以外的其他爬虫,比较遗憾。SpiderKeeper
本篇博客待介绍的,基于scrapyd
,开源版的scrapyhub,同样不支持scrapy以外的爬虫。Gerapy
采用Django+VUE实现,该平台国内大佬开发,UI美观,支持的功能与Scrapydweb
类似,后面单独写一篇博客给大家介绍一下。Grawlab
采用Golang+VUE
实现,该平台不局限于scrapy了,可以运行各种爬虫,不过部署比较复杂,后面依旧单独写一篇博客给大家分享。
spiderkeeper官网
github地址: