一.flume概述

1.flume概述

Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。

2.flume定义

flume是Cloudera提供的 一个高可用的，高可靠的，分布式的海量日志采集，聚合和传输的系统，flume基于流式架构，灵活简单

flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。

3.flume基础架构

flume组成架构如下图所示

3.1Flume工作流程

Source采集数据并包装成Event，并将Event缓存在Channel中，Sink不断地从Chennl获取Event,并解决成数据，最终将数据写入存储或索引系统。

3.2 Agent

​ Agent 是一个JVM进程，它以事件的形式将数据从源头送至目的。

​ Agent主要由三部分组成，即Source，Channel，Sink

3.3 Source

​ Source是负责接收数据到Flume Agent的组件.Source组件可以处理各种类型，各种格式的日志数据，包括avro，thrift，exec，jms，spooling directory，netcat，taildir，sequence generator，syslog，http，legacy。

3.4 Sink

​ Sink不断地轮询Channel中的事件且批量的移除它们，并将这些事件批量写入到存储或索引系统，或者被发送到另外一个 agent。Sink组件目的地包括==hdfs，logger，avro，==thrift，ipc，file，HBase，solr，自定义。

3.5 Channel

​ Channel是位于Source和Sink之间的缓冲区，因此，Channel允许Source和Sink运作在不同的速率上,Channel线程是安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作.

​ Flume自带两种Channel：Memory Channel和File Channel。

​ Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情况下适用，如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡，机器宕机或者重启都会导致数据丢失。

​ File Channel将所有事件写到磁盘里，因此在程序关闭或者机器宕机的情况下不会丢失数据。

3.6 Event

​ 传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成，Header用来存放该enent的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。