Flume之监控

Flume作为一个日志收集工具，在数据采集方面，展现出了非常强大的能力。它的SOURCE、SINK、CHANNEL三大组件这种模式，来完成数据的接收、缓存、发送这个过程，拥有非常完美的契合度。不过这里，我们要说的不是Flume有多好或者Flume有哪些优点，我们要谈的是Flume的监控。

1、为什么需要Flume监控？

Flume作为一个强大的数据收集工具，虽然功能非常强大实用，但是却无法看到flume收集数据的详细信息，所以我们需要一个能展示flume实时收集数据动态信息的界面，包括flume成功收集的日志数量、成功发送的日志数量、flume启动时间、停止时间、以及flume一些具体的配置信息，像通道容量等，于是顺利成章的监控能帮我们做到这些，有了这些数据，在遇到数据收集瓶颈或者数据丢失的时候，通过分析监控数据来分析、解决问题。

2、Flume有哪些监控方式？

（1）、Http监控

使用这种监控方式，只需要在启动flume的时候在启动参数上面加上监控配置，例如这样：

bin/flume-ng agent --conf conf --conf-file conf/flume_conf.properties --name collect -Dflume.monitoring.type=http -Dflume.monitoring.port=1234

其中-Dflume.monitoring.type=http表示使用http方式来监控，后面的-Dflume.monitoring.port=1234表示我们需要启动的监控服务的端口号为1234，这个端口号可以自己随意配置。然后启动flume之后，通过http://ip:1234/metrics就可以得到flume的一个json格式的监控数据。

（2）、ganglia监控

这种监控方式需要先安装ganglia然后启动ganglia，然后再启动flume的时候加上监控配置，例如：

bin/flume-ng agent --conf conf --conf-file conf/producer.properties --name collect -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=ip:port

其中-Dflume.monitoring.type=ganglia表示使用ganglia的方式来监控，而-Dflume.monitoring.hosts=ip:port表示ganglia安装的ip和启动的端口号。

flume监控还可以使用zabbix，但是这种方式需要在flume源码中添加监控模块，相对比较麻烦，由于不是flume自带的监控方式，这里不讨论这种方式。

因此，flume自带的监控方式其实就是http、ganglia两种，http监控只能通过一个http地址访问得到一个json格式的监控数据，而ganglia监控是拿到这个数据后用界面的方式展示出来了，相对比较直观。

3、Flume监控哪些组件、能够得到组件的哪些信息？

（1）、SOURCE

SOURCE作为flume的数据源组件，所有收集日志的第一个到达的地方，它的监控信息非常重要。通过监控我们能够得到的监控数据有这些：

OpenConnectionCount（打开的连接数）、Type（组件类型）、AppendBatchAcceptedCount（追加到channel中的批数量）、AppendBatchReceivedCount（source端刚刚追加的批数量）、EventAcceptedCount（成功放入channel的event数量）、AppendReceivedCount（source追加目前收到的数量）、StartTime（组件开始时间）、StopTime（组件停止时间）、EventReceivedCount（source端成功收到的event数量）、AppendAcceptedCount（放入channel的event数量）等。当然这些只是flume监控源码中已经自带的监控元素，如果你需要其他的监控信息，例如ip、端口号等，有两种方法，第一个，修改监控源码，添加你需要的监控元素，这种方法只是在原有代码基础上，添加一些满足自己需求的监控元素，比较简单，但灵活性不足；第二个就是自定义监控组件，这种方法是在原有监控框架中，自己实现自己的监控组件，这样可以达到完全满足自己需求，且灵活性很高。至于这两种方法如何操作，在后面Flume监控如何实现有讨论到。

同理CHANNEL、SINK这两个组件的监控也可以使用这两种方法来添加自己想要的监控元素。

（2）、CHANNEL

CHANNEL是flume的一个通道组件，对数据有一个缓存的作用。能够得到的数据：

EventPutSuccessCount（成功放入channel的event数量）、ChannelFillPercentage（通道使用比例）、Type（组件类型）、EventPutAttemptCount（尝试放入将event放入channel的次数）、ChannelSize（目前在channel中的event数量）、StartTime（组件开始时间）、StopTime（组件停止时间）、EventTakeSuccessCount（从channel中成功取走的event数量）、ChannelCapacity（通道容量）、EventTakeAttemptCount（尝试从channel中取走event的次数）等。

（3）、SINK

SINK是数据即将离开flume的最后一个组件，它从channel中取走数据，然后发送到缓存系统或者持久化数据库。能得到数据：

BatchCompleteCount(完成的批数量)、ConnectionFailedCount（连接失败数）、EventDrainAttemptCount（尝试提交的event数量）、ConnectionCreatedCount（创建连接数）、Type（组件类型）、BatchEmptyCount（批量取空的数量）、ConnectionClosedCount（关闭连接数量）、EventDrainSuccessCount（成功发送event的数量）、StartTime（组件开始时间）、StopTime（组件停止时间）、BatchUnderflowCount（正处于批量处理的batch数）等。

4、Flume监控是如何实现的？

首先在flume-ng-node中org.apache.flume.node.Application的main方法中，有一个startAllComponents()方法：

private void startAllComponents(
            MaterializedConfiguration materializedConfiguration) {
        logger.info("Starting new configuration:{}", materializedConfiguration);

        this.materializedConfiguration = materializedConfiguration;

        for (Entry<String, Channel> entry : materializedConfiguration
                .getChannels().entrySet()) {
            try {
                logger.info("Starting Channel " + entry.getKey());
                supervisor.supervise(entry.getValue(),
                        new SupervisorPolicy.AlwaysRestartPolicy(),
                        LifecycleState.START);
            } catch (Exception e) {
                logger.error("Error while starting {}", entry.getValue(), e);
            }
        }

        /*
         * Wait for all channels to start.
         */
        for (Channel ch : materializedConfiguration.getChannels().values()) {
            while (ch.getLifecycleState()