Flume基础介绍

1.Flume定义

Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。

2.Flume基础架构

2.1Agent

Agent是一个JVM进程，它以事件的形式将数据从源头送至目的

Agent主要由三部分组成：Source,Channel,Sinke

2.2Source

​ Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括：

avro、exec、spooling directory、netcat、taildir、
sequence generator、syslog、http、legacy

2.3Channel

​ Channel是位于Source和Sinke之间的缓冲区。因此，Channel允许Soure和Sink运作在不同的速率上。

​ Channel时线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。

​ Flume自带两种Channel：Memory Channel和File Channel

• Memory Channel：是内存中的队列，在不关心数据丢失情景下使用，程序死亡、机器宕机或者重启都会导致数据丢失
• File Channel：将所有事件写到磁盘。因此在程序关闭或机器宕机情况下不会丢失数据

2.4Sink

​ Sink不断地轮询Channel中的事件且批量地移除它们，将这些事件批量写入到存储或索引系统中，或者发送到另一个Flume Agent，Sink组件目的地包括

hdfs、logger、avro、file、HBase
thrift、ipc、solr、自定义

2.5Event

​ 传输单元，Flume数据传输的基本单元，以Event的形式将数据源头送至目的地。Event由Header和Body两部分组成，header（K-V）用了存放该event的一些属性，Body（字节数组）用来存放该条数据