【图文详细 】Flume 数据采集组件—— 体系结构/核心组件

4、Flume 体系结构/核心组件 

 

4.1、概述 
Flume 的数据流由事件(Event)贯穿始终。事件是 Flume 的基本数据单位，它携带日志数据(字 节数组形式)并且携带有头信息，这些 Event 由 Agent 外部的 Source 生成，当 Source 捕获事 件后会进行特定的格式化，然后 Source 会把事件推入(单个或多个)Channel 中。你可以把 Channel 看作是一个缓冲区，它将保存事件直到 Sink 处理完该事件。Sink 负责持久化日志或 者把事件推向另一个 Source。

Flume 以 agent 为最小的独立运行单位。

一个 agent 就是一个 JVM。

单 agent 由 Source、Sink 和 Channel 三大组件构成。

如下图： 

 

4.2、Flume 三大核心组件 

Event

    Event 是 Flume 数据传输的基本单元。

    Flume 以事件的形式将数据从源头传送到最终的目的地。

    Event 由可选的 header 和载有数据的一个 byte array 构成。

    载有的数据度 flume