Flume知识要点

1.Flume 的数据流由事件(Event)贯穿始终。

2.事件是 Flume 的基本数据单位， 它携带日志数据(字节数组形式)并且携带有头信息，这些 Event 由 Agent 外部的 Source 生成，当 Source 捕获事件后会进行特定的格式化，然后 Source 会把事件推入(单个或多个)Channel 中。

3.可以把Channel 看作是一个缓冲区，它将保存事件直到 Sink 处理完该事件。Sink 负责持久化日志或者把事件推向另一个 Source。

4.Flume 以 agent 为最小的独立运行单位。一个 agent 就是一个 JVM。单 agent 由 Source、Sink和 Channel 三大组件构成，如下图：

5. 、Flume三大核心组件（event，client。agent）

Event
Event 是 Flume 数据传输的基本单元。
Flume 以事件的形式将数据从源头传送到最终的目的。
Event 由可选的 header 和载有数据的一个 byte array 构成。
载有的数据度 flume 是不透明的。
Header 是容纳了 key-value 字符串对的无序集合，key 在集合内是唯一的。
Header 可以在上下文路由中使用扩展。
Client
Client 是一个将原始 log 包装成 events 并且发送他们到一个或多个 agent 的实体
目的是从数据源系统中解耦 Flume，在 flume 的拓扑结构中不是必须的。
Client 实例
    flume log4j Appender；

    可以使用 Client SDK（org.apache.flume.api)定制特定的 Client。

Agent

一个 Agent 包含 source，channel，sink 和其他组件。
它利用这些组件将 events 从一个节点传输到另一个节点或最终目的地
组件  功能
Agent

使用 JVM 运行 Flume。

每台机器运行一个 agent，但是可以在一个agent 中包含多个 sources 和 sinks。

Client  生产数据，运行在一个独立的线程。
Source  从 Client 收集数据，传递给 Channel。
Sink  从 Channel 收集数据，运行在一个独立线程。
Channel  连接 sources 和 sinks，这个有点像一个队列。
Events  可以是日志记录、avro 对象等。
agent 是 flume 流的基础部分。
flume 为这些组件提供了配置，声明周期管理，监控支持。