Flume的安装配置

目录

前言：

一、java与Flume版本对应

二、Flume的下载（两种方法都行）

（1）第一种方式,window下载Flume，传输到Linux虚拟机

（2） 第二种方式在虚拟机直接使用wget命令安装到指定文件夹

三、Flume配置

（1）flume-env.sh配置

（2）配置flume环境变量

四、Flume入门使用

五、Flume采集数据测试

---

前言：

java运行环境的版本与将要安装配置的Flume版本是对应的，如果使用Flume1.6版本，则要使用Java1.6及以上运行环境，由于本章后续将以Flume1.8.0为准，所以要求安装java1.8及以上运行环境。（本文/home/export/software为软件压缩包放置目录,/home/export/servers软件包目录，大家可自行调整自己的对应路径）

一、java与Flume版本对应

Flume版本	依赖的JRE版本
Flume 1.9.0	Java1.8 或更高版本
Flume 1.8.0	Java1.8 或更高版本
Flume 1.7.0	Java1.7 或更高版本
Flume 1.4.0、1.5.0、1.5.2、1.6.0	Java1.6 或更高版本（建议使用1.7）

 二、Flume的下载（两种方法都行）

（1）第一种方式,window下载Flume，传输到Linux虚拟机

下载连接：https://mirrors.huaweicloud.com/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

进入/home/export/software目录，在命令行输入rz，弹出对话框进行选择传输文件（window-》linux）

 

#解压Flume
tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /home/export/servers/

（2） 第二种方式在虚拟机直接使用wget命令安装到指定文件夹

#下载Flume安装包到/home/export/software
wget -p /home/export/software https://mirrors.huaweicloud.com/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 

#下载成功后会在/home/export/software目录下有一个mirrors.huaweicloud.com华为镜像目录，Flume压缩包就在里面

#解压Flume到/home/export/servers
tar -zxvf /home/export/software/mirrors.huaweicloud.com/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz -C /home/export/servers/

三、Flume配置

（1）flume-env.sh配置

#进入/home/export/servers目录
#创建软连接
ln -s apache-flume-1.8.0-bin/ flume

#进入flume下的conf目录
cd flume/conf/

#复制配置文件 flume-env.sh.template =》 flume-env.sh
cp flume-env.sh.template flume-env.sh

#修改flume-env.sh，将export JAVA_HOME 修改为自己的jdk路径
vim flume-env.sh

（2）配置flume环境变量

#配置环境变量

vim /etc/profile

#添加至文件最后
export FLUME_HOME=/home/export/servers/flume
export PATH=$PATH:$FLUME_HOME/bin

#使配置环境生效
source /etc/profile

 四、Flume入门使用

完成 Flume的安装和配置后,就可以使用 Flume了,接下来通过一个简单的单 Agent结构案例来演示 Flume 的入门使用,具体使用步骤如下。

1.配置Flume采集方案
        因为 Flume 要采集数据的类型和源头多种多样,并且根据开发需求还要进行不同类型的数据传输和汇总。为此,根据实际业务需求,Flume 专门设计了匹配不同数据类型和传输要求的 Flume Source Flume Channel和Flume Sink。
        为了正确地使用 Flume对数据进行采集,就必须编写适合开发者需求的 Flume采集方案,接下来就编写一个采集 netcat(用于 TCP/UDP 连接和监听的 Linux 工具,主要用于网络传输及调试领域)源数据的采集方案。

#配置Flume采集方案，编辑netcat-logger.conf文件内容如下并保存在/export/servers/flume/conf目录中

cd /home/export/servers/flume/conf/

vim netcat-logger.conf

#将以下内容复制到netcat-logger.conf里面

 #示例配置方案：单节点Flume配置
 #定义Agent中各个组件名称  
 #其中该Agent名为a1,sources名为r1,sinks名为k1,channels名为c1
 a1.sources = r1
 a1.sinks = k1
 a1.channels = c1
 #描述并配置sources组件（数据源类型、采集数据源的应用地址）  
 a1.sources.r1.type = netcat
 a1.sources.r1.bind = localhost
 a1.sources.r1.port = 44444
 #描述并配置sinks组件（采集后的数据流出的类型）  
 a1.sinks.k1.type = logger
 #描述并配置channels(缓存类型、内存缓存大小和事务缓存大小)
 a1.channels.c1.type = memory
 a1.channels.c1.capacity = 1000
 a1.channels.c1.transactionCapacity = 100
 #将source和sink通过同一个channel连接绑定  
 a1.sources.r1.channels = c1
 a1.sinks.k1.channel = c1

（2）启动Flume

cd /home/export/servers/flume/
flume-ng agent --conf conf/ --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

 启动后出现44444端口号证明Flume已经配置成功

五、Flume采集数据测试

为了验证和查看Flume采集数据的效果，可以在本机44444端口模拟生成netcat数据，首先，打开或克隆一个终端会话框，在新的会话框输入以下命令 

#安装telnet工具（安装过可忽略）
yum -y install telnet

#下述指令的作用是使用telnet工具连接到本机44444端口，用来持续发送信息作为Flume将要采集的数据源。
telnet lcalhost 44444

#Flume采集数据测试。在telnet工具测试界面，输入信息Hello，并按下Enter键。在Flume终端会话窗口可查看到如下信息：

 

上述截图结果表明，Flume已经准确监听并采集到了监听应用发送的telnet数据，并根据启动时的指示输出到了控制台上进行展示。

六、分布式集群部署（保证高可靠）

集群（master，hadoop02，hadoop03），将第三步的Flume配置直接分发到hadoop02，hadoop03即可

#分发Flume安装目录到hadoop02和hadoop03

scp -r /home/export/servers/apache-flume-1.8.0-bin hadoop02:`pwd`
scp -r /home/export/servers/apache-flume-1.8.0-bin hadoop03:$PWD
scp  /etc/profile hadoop02:`pwd`
scp  /etc/profile hadoop03:$WPD

#在hadoop02和hadoop03上构建软链接
cd /home/export/servers
ln -s apache-flume-1.8.0-bin/ flume

#在hadoop02和hadoop03上刷新环境变量
source /etc/profile