使用flume进行日志收集的总结(2)

Sinks groups 和 Sink Processors

          Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。

配置多个sink组成一个sinkgroup 并实现负载均衡

负载均衡(load balance)

      Load balancing sink processor 提供了多个sinks负载均衡的能力，它维护了一个active sinks列表，该列表中的负载是分布式的。默认实现了round_robin(轮询调度) 或者 random（随机） 的选择机制，默认配置是：round_robin(轮询调度)，也可以通过继承AbstractSinkSelector类来实现自定义的选择机制。 当被调用时，选择器根据配置文件的选择机制挑选下一个sink，并且调用该sink。如果所选的Sink传递Event失败，则通过选择机制挑选下一个可用的Sink，以此类推。

负载均衡(load balance)配置:

故障转移：

Failover Sink Processor 维护了一个sink的优先级列表，具有故障转移的功能。配置参数如下：

Flume监控：

①Ganglia

②Http

使用zabbix做监控, 为flume添加zabbix监控模块，将需要的metrics数据发送给zabbix

监控图：