flume常见问题总结

1. flume是什么？

1.  数据采集工具 

2. 可以收集日志 行为 事件等数据信息  并且将这些信息从各个数据源集中起来存储的工具

2.flume怎么工作的？

1. 核心概念 agent

2. agent分为三个组件  source  channel  sink

3. source 负责读取采集  sink负责写入存储  channel负责解耦合的传输通道

4. source 对接数据源 内置各种实现类将数据封装成event   传递给channel通道

5. sink从channel 取得event 根据目标存储的需求 转换成其他形式数据输出

6. event封装 分为两部分 header和body  header存放map[string string]集合 用于携带KV形式元数据信息(数据标志与描述等)  body存放具体的数据内容

3.flume的核心架构？
4.flume中的一些核心概念理解：source、channel、sink、channel selector、sink processor、interceptor、event、transaction
5.flume中的事务控制是如何设计的
6.flume怎么用？步骤是怎样的？
7.flume在大数据系统中，处于哪个环节？
8.什么是业务系统？举例说明？
9.什么是序列化？avro序列化跟serializable/writable/kryo有何不同？
10.常见的source有哪些？分别是怎么工作的？
11.taildir source为什么是可以用于生产环境的？