Flume的事务和可靠性
一、Flume的事务
flume的事务有两个,一个是put事务,一个是take事务,put事务负责从source端到channel端,take事务负责从channel端到sink端
Put 事务流程
doPut:将批数据先写入临时缓冲区 putList
doCommit:检查 channel 内存队列是否足够合并
doRollback:channel 内存队列空间不足,回滚数据
Take 事务流程
doTake:将数据取到临时缓冲区 takeList,并将数据发送到 HDFS
doCommit:如果数据全部发送成功,则清除临时缓冲区 takeList
doRollback:数据发送过程中如果出现异常,rollback 将临时缓冲区 takeList 中的数据归还给 channel 内存队列
二、可靠性
At-least-once提交方式,导致了数据可能会重复,但不会丢失
批处理机制: 为了提高效率,Flume尽可能的以事务为单位来处理事件,而不是逐一基于事件进行处理。比如kafka source默认以消费100个event作为一个批次,可以通过适当调节批次大小来提升效率