Flume安装

1.上传

 

2解压

tar -xzvf apache-flume-1.8.0-bin.tar.gz

 

3.修改flume-env.sh

进入 flume 的目录，cp flume-env.sh.template flume-env.sh , 修改flume-env.sh，

在里面配置 export JAVA_HOME=/usr/local/jdk1.8.0_191

 

4.配置环境变量

export FLUME_HOME=/home/hadoop/apps/apache-flume-1.8.0-bin

export PATH=$PATH:$FLUME_HOME/bin

 

然后source /etc/profile生效

 

5.在软件根目录中创建agentconf文件夹

mkdir agentconf

 

6.创建一个数据采集方案

        在$FLUME_HOME/agentconf 目录下创建一个数据采集方案，该方案就是从一个网络端口

收集数据，也就是创一个任意命名的配置文件如下：netcat-logger.properties

文件内容如下：

 

# 定义这个 agent 中各个组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述和配置 source 组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 描述和配置 sink 组件：k1
a1.si