Flume的相关介绍

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统.

flume中无法直接监听数据库,因为没有jdbc插件 但是可以自定义数据源 直接通过extend abstractsource.

还可以自定义sink通过extend abstractsink

在flume中用来保证事务操作的source是taildirsource,可以监听文件夹和其中的文件.

实时收集的数据源还有一个(Exec Source):

批量收集数据：(Spooling Directory Source),监听目录中是否有文件,如果有就会批量收集

 

高可靠传输实现原理
Flume使用事务的办法来保证event的可靠传递。Source和Sink分别被封装在事务中，这些事务由保存event的存储提供或者由 Channel提供。这就保证了event在数据流的点对点传输中是可靠的。在多级数据流中，如下图，上一级的Sink和下一级的Source都被包含在事务中，保证数据可靠地从一个Channel到另一个Channel转移

其次，数据流中 Channel的持久性。Flume中MemoryChannel是可能丢失数据的（当Agent死掉时），而FileChannel是持久性的，提供类似mysql的日志机制，保证数据不丢失。

当一个正常的Flow运行时，每个Agent中的Channel中的Events数量是均衡（消费速度大于生产速度的情况），而一旦Agent直接出现故障，那么Channel就会暂时持有Events，直到故障恢复（MemoryChannel可能会丢失Events）。