1. flume是什么?
-
数据采集工具
-
可以收集日志 行为 事件等数据信息 并且将这些信息从各个数据源集中起来存储的工具
2.flume怎么工作的?
-
核心概念 agent
-
agent分为三个组件 source channel sink
-
source 负责读取采集 sink负责写入存储 channel负责解耦合的传输通道
-
source 对接数据源 内置各种实现类将数据封装成event 传递给channel通道
-
sink从channel 取得event 根据目标存储的需求 转换成其他形式数据输出
-
event封装 分为两部分 header和body header存放map[string string]集合 用于携带KV形式元数据信息(数据标志与描述等) body存放具体的数据内容