Source到Channel是事务性的,put事务
Channel到Sink也是事务性的,take事务
这两个环节都不可能丢失数据, 传输失败后会回滚doRollback。
但是
source:
(1)exec source ,后面接 tail -f
,这个数据也是有可能丢的。
(2)TailDir source ,这个是不会丢数据的,它可以保证数据不丢失。
channel:
采用MemoryChannel,(1)在agent宕机时候导致数据在内存中丢失;(2)Channel存储数据已满,导致Source不再写入数据,造成未写入的数据丢失;
采用FileChannel, 写入磁盘是不可能丢失数据的
sink:
不会丢失, 会重复. 例如数据已经由Sink发出,但是没有接收到响应,Sink会再次发送数据,导致数据重复
hdfs sink: flush 到 hdfs 的时候,可能由于网络原因超时导致数据传输失败,这个时候同样地调用 doRollback 方法来进行回滚,回滚的时候,由于takeList中还有备份数据,所以将takeList中的数据原封不动地还给channel,这时候就完成了事务的回滚。
但是,如果 flush 到 hdfs 的时候,数据flush了一半之后出问题了,这