Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统.
flume中无法直接监听数据库,因为没有jdbc插件 但是可以自定义数据源 直接通过extend abstractsource.
还可以自定义sink通过extend abstractsink
在flume中用来保证事务操作的source是taildirsource,可以监听文件夹和其中的文件.
实时收集的数据源还有一个(Exec Source):
批量收集数据:(Spooling Directory Source),监听目录中是否有文件,如果有就会批量收集
高可靠传输实现原理
Flume使用事务的办法来保证event的可靠传递。Source和Sink分别被封装在事务中,这些事务由保存event的存储提供或者由 Channel提供。这就保证了event在数据流的点对点传输中是可靠的。在多级数据流中,如下图,上一级的Sink和下一级的Source都被包含在事务中,保证数据可靠地从一个Channel到另一个Channel转移
其次,数据流中 Channel的持久性。Flume中MemoryChannel是可能丢失数据的(当Agent死掉时),而FileChannel是持久性的,提供类似mysql的日志机制,保证数据不丢失。
当一个正常的Flow运行时,每个Agent中的Channel中的Events数量是均衡(消费速度大于生产速度的情况),而一旦Agent直接出现故障,那么Channel就会暂时持有Events,直到故障恢复(MemoryChannel可能会丢失Events)。