Flume组件

Flume：分布式的海量日志采集、聚合和传输的系统。基于流式架构，灵活简单。
优点：

1. 可以和任意存储进程集成。
2. 输入的的数据速率大于写入目的存储的速率，flume会进行缓冲。
3. flume中的事务基于channel，使用了两个事务模型（sender + receiver），确保消息被可靠发送。

组件有Source、Channel、Sink
Source数据输入端常见类型有：Spooling、directory、Exec、syslog、Avro、netcat等。
Channel位于Source和Sink之间的缓冲区。Flume有两种Channel：Memory Channel和File Channel。其中Kafka Channel属于File Channel。Memory Channel基于内存，当不关心数据丢失的时候使用。File Channel是Flume的持久化Channel。若系统宕机不会丢失数据。
Sink常见的目的地有HDFS、Kafka、logger、avro等。
在Source到Channel之间有Put事务流程：

• doPut：将批数据先写入临时缓冲区putList。
• doCommit：检查Channel内存队列是否足够合并。
• doRollback：Channel内存队列空间不足，回滚数据。

在Channel到Sink之间有Take事务：

• doTake：先将数据取到临时缓冲区takeList
• doCommit：如果数据全部发送成功，则清除临时缓冲区takeList
• doRollback：将数据发送过程中如果出现异常，rollback将临时缓冲区takeList中的数据归还给Channel内存队列。

Flume的Channel选择器有：Replicating Channel Selector(default)、Multiplexing Channel Selector以及Custom Channel Selector
自带的选择器主要区别是：Replicating Channel Selector会将Source过来的event发往所有的Channel，Multiplexing Channel Selector可以配置发往那些Channel。

组件详细介绍：

1. Agent
   Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。
   Agent主要有3个部分组成，Source、Channel、Sink。
2. Source
   Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。
3. Channel
   Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。
   Flume自带两种Channel：Memory Channel和File Channel。
   Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。
   File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。
4. Sink
   Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
   Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent，Sink就利用Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事件。
   Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。
5. Event
   传输单元，Flume数据传输的基本单元，以事件的形式将数据从源头送至目的地。 Event由可选的header和载有数据的一个byte array 构成。Header是容纳了key-value字符串对的HashMap。