Flume的Source,Sink,Channel的作用?你们Source是什么类型?
根据Flume的架构原理,Flume是不可能丢失数据的,其内部有完善的事务机制,Source到Channel是事务性的,Channel到Sink是事务性的,因此这两个环节不会出现数据的丢失,唯一可能丢失数据的情况是Channel采用memoryChannel,agent宕机导致数据丢失,或者Channel存储数据已满,导致Source不再写入,未写入的数据丢失。增加Source个(使用Tair Dir Source时可增加FileGroups个数)可以增大Source的读取数据的能力。
原创
2024-05-14 20:43:33 ·
243 阅读 ·
0 评论