支持多种语言框架的分布式爬虫管理平台，爬虫本应如此简单

项目名称：Crawlab

项目作者：tikazyq

开源许可协议：BSD-3-Clause

项目地址：https://gitee.com/tikazyq/crawlab

 

项目简介

Crawlab 是一款基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。

Crawlab 主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂scrapy和selenium的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。

 

项目架构

Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。

前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。

 

项目截图

登录

首页

节点列表

节点拓扑图

爬虫列表

爬虫概览

爬虫分析

爬虫文件编辑

任务抓取结果

任务日志

定时任务

消息通知

 

目前该项目已经更新至 0.5.1 版本，如果你看了介绍后想要上手试一试它的表现如何， 那么就点击后面的链接，前往项目主页看看具体的部署方法和流程吧：https://gitee.com/tikazyq/crawlab