flume安装与启动测试

flume安装与启动测试

安装

1. 下载flume安装文件，下载地址：Index of /dist/flume

   下载版本：apache-flume-1.8.0-bin.tar.gz

   将下载的文件上传到Linux的~目录下

2. 解压

tar -zxvf apache-flume-1.8.0-bin.tar.gz

1. 建立软链接

ln -s apache-flume-1.8.0-bin flume

1. 设置环境变量

nano ~/.bashrc

此处需加上相对路径，比如我的加上了/soft/

export FLUME_HOME=~/soft/flume
export PATH=$FLUME_HOME/bin:$PATH

让环境变量生效

source ~/.bashrc

5.编写配置文件

cd home/hadoop/soft/flume/conf

配置flume.conf

nano flume.conf

输入以下内容：

#指定Agent的组件名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
#指定Flume source（监听的路径为/home/hadoop/testFlume,hadoop为用户名，注意修改）
a1.sources.r1.type = spoolDir
a1.sources.r1.spoolDir = /home/hadoop/testFlume
 
#指定Flume sink
a1.sinks.k1.type = logger
 
#指定Flume channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
 
#绑定source和sink到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

6.创建监听目录

mkdir /home/hadoop/testFlume

注意：以上路径中的hadoop为用户名，注意修改。

7.启动Flume Agent

启动时加上路径和

hadoop@node1:~/soft/flume$ flume-ng agent --conf /home/hadoop/soft/apache-flume-1.8.0-bin/conf --conf-file  /home/hadoop/soft/flume/conf/flume.conf --name a1 -Dflume.root.logger=INFO,console

8.测试

打开另外一个终端作为测试终端，往监听目录（/home/hadoop/testFlume）的test.log文件写一些内容：

echo "hello flume!" >> /home/hadoop/testFlume/test.log

在监听终端（ node1），查看输出内容：

完成