大数据——Flume

一、概述

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。同时，Flume基于流式架构，因此使用起来灵活简单。

二、Flume基础结构

Flume主要由Source、Channel、Sink三个部分组成，这三部分组成了一个Agent。Agent是一个JVM进程，它以事件event的形式将数据从源头送至目的地。

Source：负责接收数据到Flume Agent的组件，可以处理各种类型、各种格式的日志数据。

Sink：Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Channel：Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。同时，Flume自带两种Channel：Memory Channel和File Channel。Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。而另一个File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

Event：是Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。

三、Flume事务机制

Flume事务主要分为两种。一种是Source给Channel的Put事务，一种是Sink给Channel的Take事务。

Put事务：

doPut：将批数据先写入临时缓冲区putList

doCommit：检查channel内存队列是否足够合并

doRollback：当channel内存队列空间不足时，可以用来回滚数据

Take事务：

doTake：将数据取到临时缓冲区takeList，并将数据发送到HDFS

doCommit：如果数据全部发送成功，则清除临时缓冲区takeList

doRollback：数据发送过程中如果出现异常，rollback将临时缓冲区takeList中的数据归还给channel内存队列。

Flume Agent内部原理：

ChannelSelector：选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。ReplicatingSelector会将同一个Event发往所有的Channel，Multiplexing会根据相应的原则，将不同的Event发往不同的Channel。

SinkProcessor共有三种类型，分别是DefaultSinkProcessor(默认1对1)、LoadBalancingSinkProcessor(负载均衡)和FailoverSinkProcessor(故障转移)。

DefaultSinkProcessor对应的是单个的Sink，LoadBalancingSinkProcessor和FailoverSinkProcessor对应的是Sink Group，LoadBalancingSinkProcessor可以实现负载均衡的功能，FailoverSinkProcessor可以实现错误恢复的功能。