Flume作为一个强大的日志收集工具,在数据收集方面非常强大。它的SOURCE、SINK、CHANNEL3大组件这类模式,完成数据的接收、传输、发送这个进程。不过flume的监控也随之产生。
1、Flume监控的必要性
Flume尽管功能非常强大,但是需要看到FLume收集的数据信息的时候却没有一个界面能够展现出来,所以需要一个能展现flume实时收集数据动态信息的界面,包括flume成功收集的日志数量、成功发送的体质数量、flume启动时间、停止时间等等。监控能做到这些,有了这些数据,在遇到数据搜集瓶颈和数据丢失的情况下,可以通过分析监控数据来解决问题。
2、Flume的监控方式
(1) Http监控
使用这类监控方式,只需要在启动flume的时候在启动参数上面加上监控配置:
flume-ng agent --conf conf --conf-file conf/server.properties --name collect -Dflume.monitoring.type=http -Dflume.monitoring.port=1111
其中-Dflume.monitoring.type=http表示使用http方式来监控,后面的-Dflume.monitoring.port=