Flume日志采集系统

Flume 日志采集系统

一、Flume组成

source    --（put事务）--->   channel   ---（task事务）-->	sink

1、source

异常：断点续传？？？ 重复数据？？？

2、channel

文件、内存、kafka 
三者优劣势、区别、诞生版本、初火版本、生产环境怎么选择？

3、sink

HDFS sink

4、事务

put事务、task事务

二、Flume 拦截器

自定义ETL拦截器
1、优劣势
2、步骤（4步）
3、适用场景

三、Flume 选择器

1、分类（2种）、区别、	适用场景

四、Flume 监控器

1、性能
2、解决办法（加内存、加服务器）

五、面试问题
1、Flume采集数据会丢失吗？