Flume高频面试题

1、Flume组成，Put事务，Take事务

Taildir Source：断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。

File Channel：数据存储在磁盘，宕机数据可以保存。但是传输速率慢。适合对数据传输可靠性要求高的场景，比如，金融行业。

Memory Channel：数据存储在内存中，宕机数据丢失。传输速率快。适合对数据传输可靠性要求不高的场景，比如，普通的日志数据。

Kafka Channel：减少了Flume的Sink阶段，提高了传输效率。           

Source到Channel是Put事务。

Channel到Sink是Take事务。

1）taildir source

（1）断点续传、多目录

    （2）哪个Flume版本产生的？Apache1.7、CDH1.6

（3）没有断点续传功能时怎么做的？ 自定义

（4）taildir挂了怎么办？

     不会丢数：断点续传

     重复数据：

（5）怎么处理重复数据？

     不处理：生产环境通常不处理，出现重复的概率比较低。处理会影响传输效率。

     处理

         自身：在taildirsource里面增加自定义事务，影响效率

         找兄弟：下