Flume安装及配置
1.安装
下载地址:Flume下载连接
解压到/usr/local目录下,并重命名为flume。(我的版本为1.9)
2. 配置环境变量
export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin
使环境生效 source ~/.bashrc
验证版本
3. 配置flume-env.sh文件的JDK路径
在flume的conf目录下,复制配置文件
cp flume-env.sh.template flume-env.sh
在配置文件flume-env.sh添加JDK路径
export JAVA_HOME=/usr/local/jdk1.8
4.新建测试配置文件flume-test.conf
在flume目录下创建test文件,在test文件中新建配置文件flume-test.conf,内容如下:
#那么我们也给这个三个组件分别取名字
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#定义具体的source内容
#这里是执行命令以及下面对应的具体命令
#这个命令执行后的数据返回给这个source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
#定义具体的channel信息
#我们source定义好了,就要来定义我们的channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#定义具体的sink信息
#这个logger sink,就是将信息直接打印到控制台
#就是打印日志
a1.sinks.k1.type = logger
#最后来组装我们之前定义的channel和sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
5.启动flume
bin/flume-ng agent -c conf -f test/flume-test.conf -n a1 -Dflume.root.logger=INFO,console
监听44444端口
打开另一终端,通过telnet登录localhost的44444,输入测试数据
要是没有telnet先安装
yum install telnet -y
测试
输入test,在另一个终端能看到
测试完成。