一、解压
将flume压缩包拖入 /opt/software/中
cd /opt/software
tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/
二、添加系统环境变量(需配置Java JDK系统参数)
vi /etc/profile
需在编辑面板添加
export FLUME_HOME=/opt/module/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin
重启环境配置
source /etc/profile
三、修改Flume环境变量
cd /opt/module/apache-flume-1.9.0-bin/conf/
1、拷贝环境变量文件
cp flume-env.sh.template flume-env.sh
2、配置flume-env.sh文件
vi flume-env.sh
添加内容
export JAVA_HOME=/opt/module/jdk1.8.0_212
四、配置文件
客户端(Source):收集信息
1、拷贝配置文件:
cp flume-conf.properties.template flume-client.properties
2、配置 flume-client.properties文件
vi flume-client.properties
配置文件内容:
#分别指定agent的sources,sinks, channels的名称 名称可以自定义
a1.sources = s1
a1.sinks = k1
a1.channels = c1
#配置目录scource
a1.sources.s1.type =spooldir
a1.sources.s1.spoolDir =/opt/module/hadoop-3.1.3/logs
a1.sources.s1.fileHeader= true
a1.sources.s1.channels =c1
#配置sink
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1
#配置channel(内存做缓存)
a1.channels.c1.type = memory
五、启动
命令:
flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=DEBUG,console
都是info才完成
其中:
-n:agent名称
-c:配置文件路径conf
-f:配置文件名称
这样就配成功了,但是flume不会自动停止,需要按Ctrl+C退出,不然会一直在运行