Flume基础概述

Flume基础概述

1、什么是flume

flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一。

Flume 是一个具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。

2、flume结构图

Agent

Agent 是一个 JVM 进程，它以事件的形式将数据从客户端存储到HDFS,主要由三个部件组成，Source、Channel、Sink。Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个一个agent所连接形成的。每一个agent相当于一个数据(被封装成Event对象)传递员。

Source

Source （采集组件）是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat等。

Channel

Channel（传输通道组件） 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个Sink 的读取操作。Flume 自带两种 Channel：Memory Channel 和 File Channel 以及 Kafka Channel。Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么 Memory Channel 就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。File Channel 将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

Sink

Sink （下沉组件）不断地批量处理 Channel 中的事件Event，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。Sink 组件目的地包括 hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

Event

传输单元，Flume 数据传输的基本单元，以 Event 的形式将数据通过flume存储到HDFS。Event 由 Header 和 Body 两部分组成，Header 用来存放该 event 的一些属性，为 Key-Value 结构，Body 用来存放该条数据，形式为字节数组。一行文本内容会被反序列化成一个event（序列化是将对象状态转换为可保持或传输的格式的过程，与序列化相对的是反序列化，这两个过程结合起来，可以轻松的存储和传输数据），event默认最大为2048字节（可修改），超过，则会切割，剩下的会被放到下一个event中，默认编码是UTF-8。