Flume安装及配置

Flume安装及配置

1.安装

下载地址：Flume下载连接

解压到/usr/local目录下，并重命名为flume。（我的版本为1.9）

2. 配置环境变量

export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin

使环境生效 source ~/.bashrc

验证版本

3. 配置flume-env.sh文件的JDK路径

在flume的conf目录下，复制配置文件

cp flume-env.sh.template flume-env.sh

在配置文件flume-env.sh添加JDK路径

export JAVA_HOME=/usr/local/jdk1.8

4.新建测试配置文件flume-test.conf

在flume目录下创建test文件，在test文件中新建配置文件flume-test.conf，内容如下：

#那么我们也给这个三个组件分别取名字
a1.sources = r1
a1.channels = c1
a1.sinks = k1

#定义具体的source内容
#这里是执行命令以及下面对应的具体命令
#这个命令执行后的数据返回给这个source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

#定义具体的channel信息
#我们source定义好了，就要来定义我们的channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100

#定义具体的sink信息
#这个logger sink，就是将信息直接打印到控制台
#就是打印日志
a1.sinks.k1.type = logger

#最后来组装我们之前定义的channel和sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

5.启动flume

bin/flume-ng agent -c conf -f test/flume-test.conf -n a1 -Dflume.root.logger=INFO,console

监听44444端口

打开另一终端，通过telnet登录localhost的44444，输入测试数据

要是没有telnet先安装

yum install telnet -y

测试

输入test，在另一个终端能看到

测试完成。