Flume的基础技术理论

一、flume介绍

1、Flume 最早是Cludera提供的日志收集系统，后贡献给Apache;

2、Flume 是一个分布式的海量日志采集，聚合，转移工具;

3、Flume的开发语言为java;

4、Flume的工作流程：source不断的接收数据，将数据封装成一个一个的event，然后将event发送给channel，chanel作为一个缓冲区会临时存放这些event数据，随后sink会将channel中的event数据发送到指定的地方—-例如HDFS等；

二、Flume的数据流模型

1、event事件

(1)event将传输的数据进行封装，是flume传输数据的基本单位,如果是文本文件，通常是一行记录，event也是事务的基本单位;

(2)event从source，流向channel，再到sink，本身为一个字节数组，并可携带headers(头信息)信息;

(3)event代表着一个数据的最小完整单元，从外部数据源来，向外部的目的地去;

(4)一个完整的event包括：event headers、event body、event信息(即文本文件中的单行记录)，如下所示：

2、Source

source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定义；

3、Channel

用于桥接Sources和Sinks，类似于一个队列。source组件把数据收集来以后，临时存放在channel中，即channel组件在agent中是专门用来存放临时数据的——对采集到的数据进行简单的缓存，可以存放在memory、jdbc、file等等；

4、Sink

从Channel 中读取并移除event，把数据发送到目的地的组件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定义;

5、agent

(1)flume运行的核心就是agent，agent本身是一个Java进程。

(2)agent 里面包含3个核心的组件：source—->channel—–>sink,类似生产者、仓库、消费者的架构;

三、Flume的特性

1、可靠性、安全性

只有在sink将channel中的数据成功发送出去之后，channel才会将临时event数据进行删除，这种机制保证了数据传输的可靠性与安全性。

2、可恢复性

通道可以以内存或文件的方式实现，内存更快，但不可恢复。文件较慢但提供了可恢复性。

四、Flume的采集系统机构图

1、多个Agent

2、多个sink的数据接入到一个source中

3、一个Source的数据放到多个Channel中，每个Channel对应的Sink有不同的数据落地