CentOs7下flume的安装配置与环境搭建

1.准备一台安装配置完成jdk的CentOs7虚拟机

2.解压文件(flume-ng-1.6.0-cdh5.14.2.tar.gz压缩包)

#tar -zxvf flume-ng-1.6.0-cdh5.14.2.tar.gz

3.建立flume软连接

#mv apache-flume-1.6.0-cdh5.14.2-bin /opt/soft/flume160

4.环境配置和搭建
(1)修改配置

进入/opt/soft/flume160/conf目录下

将flume-env.sh.template复制到flume-env.sh并编辑

# cp flume-env.sh.template flume-env.sh
# vi flume-env.sh

修改JAVAHOME路径为你的jdk路径

export JAVA_HOME=/opt/soft/jdk180

(2)配置环境变量(vi /etc/profile)

添加以下字段

#Flume
export FLUME_HOME=/opt/soft/flume160 //你的fulume路径
export PATH=$PATH:$FLUME_HOME/bin

(3)使配置的环境变量生效

#source /etc/profile

 

5.验证安装是否成功(进入fulme目录下)

#./bin/flume-ng version

出现以下数据则安装成功:

6.测试数据收集
(1)重命名conf/flume-conf.properties.template文件为simple.conf并修改

#mv flume-conf.properties.template simple.conf
#vi simple.conf

#名称定义为agent
agent.sources = s1 //source(输入端)定义名称为s1
agent.channels = c1 //(channel)传输频道定义名称为c1
agent.sinks = sk1 //(sink)输出端定义名称为sk1

#设置source
agent.sources.s1.type = netcat //类型为netcat
agent.sources.s1.bind = 192.168.228.152 //ip地址
agent.sources.s1.port = 5678 //端口为5678
agent.sources.s1.channels = c1  //使用的传输频道为c1

#设置sink
agent.sinks.sk1.type = logger //类型为logger
agent.sinks.sk1.channel = c1 //使用的传输频道为c1

#设置channel
agent.channels.c1.type = memory //类型为内存模式
agent.channels.c1.capacity = 1000 //默认该通道中最大的可以存储的event数量
agent.channels.c1.transactionCapacity = 100 //每次最大可以从source中拿到或者送到sink中的event数量

(2)启动agent(conf目录下)

#flume-ng agent --conf conf --conf-file  simple.conf --name agent -Dflume.root.logger=INFO,console

如下说明启动成功

(3)发送测试数据

另开一个终端,使用telnet发送(如果没有可以用yum -y install telnet命令下载telnet)

#telnet 192.168.228.152 5678

连接成功发送数据:

控制台打印如下:

表示测试成功

fulme安装完成