05-Flume基础

1.Flume内部原理

1.1Flume基础架构

1.2Flume组件

1.2.1Agent

• Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。
  Agent 主要有 3 个部分组成，Source、Channel、Sink。

1.2.2Source

• Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种
  格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence
  generator、syslog、http、legacy。

1.2.3Sink

• Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储
  或索引系统、或者被发送到另一个 Flume Agent。
  Sink 组件目的地包括 hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定
  义。

1.2.4Channel

• Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运
  作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个
  Sink 的读取操作。
  Flume 自带两种 Channel：Memory Channel 和 File Channel 以及 Kafka Channel。
  Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适
  用。如果需要关心数据丢失，那么 Memory Channel 就不应该使用，因为程序死亡、机器宕
  机或者重启都会导致数据丢失。
  File Channel 将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数
  据。

1.2.5 Event

• 传输单元，Flume 数据传输的基本单元，以 Event 的形式将数据从源头送至目的地。
  Event 由 Header 和 Body 两部分组成，Header 用来存放该 event 的一些属性，为 K-V 结构，
  Body 用来存放该条数据，形式为字节数组。
  

1.3Flume事务

1.4Flume Agent内部原理

• ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，
  分别是 Replicating（复制）和 Multiplexing（多路复用）。
  ReplicatingSelector 会将同一个 Event 发往所有的 Channel，Multiplexing 会根据相应的原则，将不同的 Event 发往不同的 Channel。
• SinkProcessor 共 有 三 种 类 型 ， 分 别 是 DefaultSinkProcessor 、
  LoadBalancingSinkProcessor 和 FailoverSinkProcessor
  DefaultSinkProcessor 对 应 的 是 单 个 的 Sink ， LoadBalancingSinkProcessor 和 FailoverSinkProcessor 对应的是 Sink Group，LoadBalancingSinkProcessor 可以实现负
  载均衡的功能，FailoverSinkProcessor 可以实现故障转移的功能。

1.5Flume拓扑结构

1.5.1简单串联

• 这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的
  目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，
  而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统。

1.5.2复制和多路复用

• Flume 支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel 中，或者将不同数据分发到不同的 channel 中，sink 可以选择传送到不同的目的
  地。

1.5.3负载均衡和故障转移

• Flume支持使用将多个sink逻辑上分到一个sink组，sink组配合不同的SinkProcessor
  可以实现负载均衡和错误恢复的功能。

1.5.4聚合