Flume相关学习思考

Flume是由cloudera开发的实时日志收集系统，有着分布式、可靠、和高可用等特性。
支持在系统中定制各类数据发送方（项目中是Nginx），用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（项目中是HDFS与Kafka）的能力。

闲着没事儿自己画了个图：

flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

Flume 的核心是把数据从数据源–source收集过来，在将收集到的数据送到指定的目的地。为了保证输送的过程一定成功，在送到sink–目的地之前，会先缓存数据在channel。
待数据真正到达目的地后，flume才会删除自己缓存的数据。 Flume 分布式系统中核心的角色是 agent，而source、sink、channel这三个组件合并为一个agent。agent 本身是一个 Java 进程，一般运行在日志收集节点。
flume 采集系统就是由一个个 agent 所连接起来形成。在Channel的数据传输的过程中，流动的是 event，即flume收集到的日志记录，它是 Flume 内部数据传输的最基本单位，它也是事务的基本单位，并代表着一个数据的最小完整单元，从外部数据源来，向外部的目的地去。

flume配置文件：
一个channel只能绑定一个sink
而一个source可以绑定多个channel