Flume的安装图文详解

 1.下载jar包并解压到/opt/module目录下

 

链接：https://pan.baidu.com/s/1dSJhZBb6Rz__WYNhM2HzkQ 

提取码：1234

[qurui@hadoop102 ~]# tar -zxvf apache-flume-1.9.0-bin.tar -C /opt/module/
#解压到/opt/module/目录下，和下文图片有一点不同，是因为博主的jar包在/opt/software里面，你如果直接拖到桌面的话，直接用上文的命令解压就行。

2. 将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3

[qurui@hadoop102 ~]# rm /opt/module/flume/lib/guava-11.0.2.jar

3. 将flume-env.sh.template文件修改为flume-env.sh，并输入

[qurui@hadoop102 conf]$ cd /opt/module/flume/conf/ #进入该目录
[qurui@hadoop102 conf]$ mv flume-env.sh.template flume-env.sh #修改名字
[qurui@hadoop102 conf]$ vim flume-env.sh #输入该文件
export JAVA_HOME=/opt/module/jdk1.8.0_212

 如下：

4.测试是否成功，输入flume-ng

[qurui@hadoop102 conf]$ flume-ng

5.为了达到博客的字数要求，添加了一些flume的基础知识，和安装没什么关系：

1.概述

    Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

2.基础架构

     Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。

     Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。Flume自带两种Channel：Memory Channel和File Channel。Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

     Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

     Event传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。

3.自定义Interceptor

      使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。

     在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构，Multiplexing的原理是，根据event中Header的某个key的值，将不同的event发送到不同的Channel中，所以我们需要自定义一个Interceptor，为不同类型的event的Header中的key赋予不同的值。

     在该案例中，我们以端口数据模拟日志，以数字（单个）和字母（单个）模拟不同类型的日志，我们需要自定义interceptor区分数字和字母，将其分别发往不同的分析系统（Channel）。