Flume定义
Flume是一个高可用的、高可靠的,分布式的海量日志采集、聚合和传输的系统。基于流式架构,灵活简单。
Flume的基础架构
Flume 组成架构如下图所示。
1. Agent
Agent是一个JVM进程,它以事件的形式,将数据从源头送至目的。
Agent主要有3个部分组成,Source
、Channel
、Sink
。
2. Source
Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据,包括avro
、thrift、exec
、jms、spooling directory
、netcat
、taildir
、sequence generator、syslog、http、legacy。
3. Sink
Sink不断地轮询
Channel中的事件且批量的删除
他们,并将他们批量的写入
到存储或索引系统、或者被发送到另一个Flume Agent。
Sink组件目的地包括hdfs
、logger
、avro
、thrift、ipc、file
、HBase
、solr、自定义。
4. Channel
Channel是位于Source和Sink之间的缓冲区。因此,Channel允许Source和Sink运行在不同的速率上。Channel是线程安全
的,可以同时处理几个Source的写入操作和几个Sink的读取操作。
Flume自带两种Channel:Memory Channel
和File Channel
。
Memory Channel是内存中的队列,Memory Channel在不需要关心数据丢失的情景下适用。
File Channel将所以事件写入磁盘,如果程序关闭或机器宕机也不会丢失数据。
5. Event
传输单元,Flume数据传输的基本单元,以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成,Header用来存放该event的一些属性,为K-V结构,Body用来存放该条数据,形式为字节数组。