Flume丢失数据的问题

在一些网络资料中有看到当Flume的数据量达到70MB/s以上时，就会出现丢失数据的情况。

但是根据Flume的架构原理，采用FileChannel的Flume是不可能丢失数据的，因为其内部有完善的事务机制（ACID）。

• Source到Channel是事务性的，
• Channel到Sink也是事务性的，

这两个环节都不可能丢失数据。

唯一可能丢失数据的是Channel采用MemoryChannel，

• 在agent宕机时候导致数据在内存中丢失；
• Channel存储数据已满，导致Source不再写入数据，造成未写入的数据丢失；

并且在实际开发生产环境中，还没有出现过Flume丢失数据的情况，因此Flume在数据量大的时候丢失数据的情况还有待商榷。

ps：Flume不会丢失数据，但是可能会造成数据重复，例如数据已经由Sink发出，但是没有接收到响应，Sink会再次发送数据，导致数据重复

转载链接：https://blog.csdn.net/wx1528159409/article/details/88737287