日志收集系统-Flume架构

Flume概述
Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方）

Flume Event
事件对象被定义数据流中一个单元，Event数据流的有效载荷（body）为采集到的一条记录，Event Head中可以添加一些可选的KV的描述信息。
Flume Agent
Agent实例是一个JVM进程，它里面包含三个核心组件（Source、Channel、Sink），可以将数据从外部的系统传输到目的地进行有效存储。
Agent Source
Source组件负责数据的收集接受，并且会将收集到的数据封装为==Event(Head[k=v] + Body[一条记录])==事件对象，发送给Channel
Agent Channel
Channel组件，类似于写缓存，本质上Event队列（符合队列先进先出FIFO）
Agent Sink
Sink组件，负责Channel中Event最终处理，将采集到的数据保存到指定的外部存储系统中