Flume整体介绍

一、Flume 作用与角色

Flume: 是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。它使用简单的可扩展数据模型，允许在线分析应用程序。

作用： 收集日志(比如从web 端 收集到 --》 Hadoop) .Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎任何可能的数据源。

二、Flume 架构

flume实际上就是一个Agent。Agent里面包含三大组件：Source、Channel、Sink。

Flume agent流动的数据单位为一个Event。一个Flume agent 是一个JVM进程，维持允许Events从一个外部source流动到一个外部目的地的组件。

Events被外部source（例如web server）发送到Source，被发送的Events要有特定的格式。例如，AvroSource可以用来接受来自客户端的Avro Events或者其他Flume agent。当Source接受Event时，Source存储Event进一个或多个Channels。该Channel是一个活的存储，保存Event直到它被Sink消费。Sink把Event从Channel中移除并把Event放进外部存储库，如HDFS。Source和Sink在Agent里面是异步运行的。

三、Flume 核组件讲解

3.1 Flume 有三大组件 ，source ，channel ，Sink

source : 源头

采集源,有
Avro Source
Thrift Source
Exec Source
JMS Source
Spooling Directory Source
Taildir Source
Twitter 1% firehose Source
Kafka Source
NetCat TCP Source
NetCat UDP Source
Sequence Generator Source
Syslog Sources
. . . 还可以自定义 Source，继承org.apache.flume.source.AbstractSource来实现.

channel: 通道

类似一个数据的缓存池 ，类型有：
Memory Channel
JDBC Channel
File Channel
Kafka Channel
。。。 还可以自定义 channel

Sink: 接收器

HDFS Sink
Hive Sink
Logger Sink
Avro Sink
Thrift Sink
。。。 自定义sink ,通过继承 org.apache.flume.sink.Abstractsink 实现。

3.2 Flume 拦截器

拦截器可在 插入源之后或者接收器之前执行.
如果想自定义 拦截器，可以 实现 org.apache.flume.intercepter.Interceptor接口。

四、flume 代码结构解析

五、Flume 安装

Flume安装和简单实例

六、典型应用实例

telnet 简单案例 —Flume安装和简单实例

数据存入 hdfs —Flume 搭建hdfs接收端

搭建两个agent—Flume 搭建两个agent