一、下载安装
1、下载地址:http://flume.apache.org/download.html
2、解压 tar -xvf flume-1.8.0-bin.tar.gz
3、配置环境变量:
vi .bash_profile
#flume
export FLUME_HOME=/opt/module/flume-1.8.0-bin
export PATH=$PATH:$FLUME_HOME/bin
source .bash_profile
二、部署实例
1、在/opt/module/flume-1.8.0-bin/conf/目录下新建 netcat.conf 配置文件,编辑netcat.conf:
#定义agent名称,source,channel,sink的名称
#a1就是我们给agent起的名字,我们知道有多个agent,那么我们就是通过这个来进行区别
#我们知道agent包含了三个重要的组件,有source,channel,sink
#那么我们也给这个三个组件分别取名字
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#定义具体的source内容
#这里是执行命令以及下面对应的具体命令
#这个命令执行后的数据返回给这个source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
#定义具体的channel信息
#我们source定义好了,就要来定义我们的channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#定义具体的sink信息
#这个logger sink,就是将信息直接打印到控制台
#就是打印日志
a1.sinks.k1.type = logger
#最后来组装我们之前定义的channel和sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
2、运行FlumeAgent,监听本机的44444端口:
flume-ng agent --conf conf --conf-file netcat.conf --name a1 -Dflume.root.logger=INFO,console
conf : 配置文件目录
netcat.conf : 配置文件地址
a1 : agent名称
3、 打开另一终端,通过telnet登录localhost的44444,输入测试数据
telnet 127.0.0.1 44444