flume详解 从原理到应用

第一章 flume概述

1.1 flume定义
flume是cloudera提供的一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统。flume基于流式架构，灵活简单。

flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入HDFS或kafka消息队列中。

flume的设计宗旨是向hadoop集群批量导入基于事件的海量数据。一个典型的例子就是利用flume从一组web服务器中收集日志文件，然后把这些文件中的日志事件转移到一个新的HDFS汇总文件中以做进一步的处理，所以flume的终点sink一般是HDFS,当然因为flume本生的灵活性，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中

1.2 flume基础架构
flume的组成架构如图所示：

1.2.1 agent
agent是一个jvm进程，他以事件的形式将数据从源头送至目的地。
agent主要有3个部分组成：source、channel、sink

1.2.2 source
source在flume agent组建中起到负责接收数据的作用。source组件可以处理各种类型、各种格式的日志数据，包括avro、exec、spooling directory、taildir、netcat、thrift、jms、legacy……。

1.2.3 sink
sink不断地轮询channel中的事件且批量地移除他们，并将在这些事件批量写入到存储或索引系统、或者被发送到另一个flume agent。
sink传输数据的目的地包括hdfs、logger、avro、file、hbase、kafka……。

1.2.4 channel
channel是位于source和sink之间的缓冲区。因此，channel允许source和sink运作在不同的速率上。channel是线程安全的，可以同时处理几个source的写入操作和几个sink的读取操作。也就是说，在一个flume当中可以同时有多个source，多个channel或者多个sink。
flume自带两种channel：memory channel和file channel。
memory channel是内存中的队列。memory channel在不需要关心数据丢失的情况下适用。如果担心数据丢失，那么memory channel就不是一个好的选择，**由于在memory channel将事件存储在内存中，那么当程序死亡、机器宕机或者机器重启时都会有导致数据丢失的风险。**因此，memory也被称作，不稳定隧道。

file channel将所有事件写入到磁盘当中。因此在程序关闭或者机器宕机的情况下不会丢失数据。因此，file channel也被称作为持久化隧道。

1.2.5 event
传输单元，flume传输数据的基本单元，以event事件的形式将数据从源头送至目的地。event由header和body两部分组成，header用来存放改event的一些属性值，为k—v结构，body用来存放该条数据，形式为字节数组。

第二章 flume入门

2.1 flume安装部署

2.1.1 安装地址

（1）Flume官网地址：http://flume.apache.org/
（2）文档查看地址：http://flume.apache.org/FlumeUserGuide.html
（3）下载地址：http://archive.apache.org/dist/flume/

2.1.2 安装部署

（1）将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下
（2）解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下

[atguigu@hadoop101 software]$ tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/

（3）修改apache-flume-1.9.0-bin的名称为flume（这一步是为了以后写该路径时更加简洁方便）

[atguigu@hadoop101 module]$ mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume

（4）将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3

[atguigu@hadoop101 lib]$  rm /opt/module/flume/lib/guava-11.0.2.jar

2.2 flume入门案例

2.2.1 监控端口数据官方案例

1）案例需求：
使用Flume监听一个端口，收集该端口数据，并打印到控制台。

2）需求分析：

3）实现步骤：

（1）安装netcat工具

[atguigu@hadoop101 software]$ sudo yum install -y nc

（2）判断44444端口是否被占用
（3）创建Flume Agent配置文件flume-netcat-logger.conf
（4）在flume目录下创建job文件夹并进入job文件夹。

[atguigu@hadoop101 flume]$ mkdir job
[atguigu@hadoop101 flume]$ cd job/

（5）在job文件夹下创建Flume Agent配置文件flume-netcat-logger.conf。

[atguigu@hadoop101 job]$ vim flume-netcat-logger.conf

（6）在flume-netcat-logger.conf文件中添加如下内容。

# Name the components on this agent             //配置agent，将此agent命名为a1
a1.sources = r1                                 //将此agent的source命名为r1
a1.sinks = k1                                   //将此agent的sink命名为k1
a1.channels = c1                                //将此agent的channel命名为c1

# Describe/configure the source                 //配置source
a1.sources.r1.type = netcat                     //定义source的类型为netcat
a1.sources.r1.bind = localhost                  //表明当前的agent a1监听的主机
a1.sources.r1.port = 44444                      //表明当前agent a1监听的端口号

# Describe the sink                             //配置sink
a1.sinks.k1.type = logger                       //表示a1的输出目的地是控制台logger类型

# Use a channel which buffers events in memory  //配置channel
a1.channels.c1.type = memory                    //表明当前agent的channel类型为memory channel
a1.channels.c1.capacity = 1000                  //表明当前agent的memory channel的总容量为1000个event事件
a1.channels.c1.transactionCapacity = 100        //表明当前agent的channel收集到100个event事件过后再去提交事务

# Bind the source and sink to the channel       //配置source、sink和channel之间的联系关系
a1.sources.r1.channels = c1              //表示将r1和c1连接起来
a1.sinks.k1.channel = c1                 //表示将k1和c1连接起来

（7）先开启flume监听端口

[atguigu@hadoop101 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/netcat2-flume-logger.conf  -Dflume.root.logger=INFO,console

特别注意：代码中INFO，console之间是英文逗号，而非中文逗号或英文句号

这里说明一下flume-ng代表的意义：
说到flume-ng，就不得不提到以前的flume-og，现在基本已经不再用flume-og
在 OG 版本中，Flume 的使用稳定性依赖 zookeeper。它需要 zookeeper 对其多类节点（agent、collector、master）的工作进行管理，尤其是在集群中配置多个 master 的情况下。当然，OG也可以用内存的方式管理各类节点的配置信息，但是需要用户能够忍受在机器出现故障时配置信息出现丢失。所以说 OG 的稳定行使用是依赖zookeeper 的。
而在 NG 版本中，节点角色的数量由 3 缩减到 1，不存在多类角色的问题，所以就不再需要 zookeeper 对各类节点协调的作用了，由此脱离了对 zookeeper 的依赖。由于 OG 的稳定使用对 zookeeper 的依赖表现在整个配置和使用过程中，这就要求用户掌握对 zookeeper 集群的搭建及其使用。

参数说明：
–conf/-c：表示配置文件存储在conf/目录
–name/-n：表示给agent起名为a1
–conf-file/-f：flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
-Dflum