Hadoop环境搭建（12） -- flume环境配置

一、解压

将flume压缩包拖入 /opt/software/中

cd /opt/software
tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/

二、添加系统环境变量(需配置Java JDK系统参数)

vi /etc/profile

需在编辑面板添加

export FLUME_HOME=/opt/module/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin

重启环境配置

source /etc/profile

三、修改Flume环境变量

cd /opt/module/apache-flume-1.9.0-bin/conf/

1、拷贝环境变量文件

cp flume-env.sh.template flume-env.sh

2、配置flume-env.sh文件

vi flume-env.sh

添加内容

export JAVA_HOME=/opt/module/jdk1.8.0_212

四、配置文件

客户端(Source)：收集信息

1、拷贝配置文件：

cp flume-conf.properties.template flume-client.properties

2、配置 flume-client.properties文件

vi flume-client.properties

配置文件内容：

#分别指定agent的sources，sinks, channels的名称 名称可以自定义
a1.sources = s1  
a1.sinks = k1  
a1.channels = c1  
   
#配置目录scource
a1.sources.s1.type =spooldir  
a1.sources.s1.spoolDir =/opt/module/hadoop-3.1.3/logs  
a1.sources.s1.fileHeader= true  
a1.sources.s1.channels =c1  
   
#配置sink 
a1.sinks.k1.type = logger  
a1.sinks.k1.channel = c1  
   
#配置channel(内存做缓存)
a1.channels.c1.type = memory

五、启动

命令：

flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=DEBUG,console

都是info才完成

其中：

-n:agent名称

-c:配置文件路径conf

-f:配置文件名称

这样就配成功了，但是flume不会自动停止，需要按Ctrl+C退出，不然会一直在运行