分布式信息采集服务器,Plumber分布式数据采集系统（一）架构与监控心跳

一,架构

Plumber是一个分布式数据采集系统，可以将分布在多台机器上的数据汇聚到Kafka，再进一步落地到HDFS中 Plumber采用Master/Slave的架构， 仅提供任务的监控使用，不提供配置数据修改等管理功能。

Plumber Agent作为Slave，分为Source和Sink两部分。Source负责将分布在不同服务器上的数据汇聚到Kafka,Sink负责将Kafka中的数据写入HDFS

Plumber Manager作为master,负责收集各Agent的任务信息,监控Agent状态,并提供告警

Plumber Agent在启动/停止的时候向Manager进行注册/注销来上报自己的任务信息以及状态信息

Plumber Agent在运行过程中，维护采集状态，并作为心跳数据，定期发送到Kafak中。

Plumber Manager接收Agent的注册、心跳数据，并根据这些数据来掌握各Agent的任务分配以及执行情况,最终记录到时间序列数据库(influx)中。

Plumber Manager通过Restfule API来对外提供接口，Plumber可以提供Web UI以及一些管理工具

Plumber Manager允许后续的数据处理模块通过Restful API对数据处理情况进行上报，与采集情况进行对比。

Plumber的设计可以与Flume进行类比。

Plumber实际上就是只有一级传输的Flume

固定使用Kafka Channel作为Channel

可以使用Flume HDFS sink作为Sink

Source可以按需选择

扩展了Flume的Monitor服务，并定义了Plumber的Counter。将Flume组件应用进来时，需要进行改造