Flume安装配置

前提条件：

1. 安装好hadoop2.7.3（Linux系统下）

 

安装步骤：

1. 下载flume安装文件，下载地址：http://archive.apache.org/dist/flume/

     下载版本：apache-flume-1.8.0-bin.tar.gz

      将下载的文件上传到Linux的~目录下

2. 解压

$ tar -zxvf apache-flume-1.8.0-bin.tar.gz

3. 建立软链接

$ ln -s apache-flume-1.8.0-bin flume

4. 设置环境变量

$ nano ~/.bashrc

   文件末尾添加如下内容： 

export FLUME_HOME=~/flume
export PATH=$FLUME_HOME/bin:$PATH

   让环境变量生效

$ source ~/.bashrc

 5.编写配置文件

$ cd $FLUME_HOME/conf
$ nano flume.conf

   输入以下内容： 

#指定Agent的组件名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#指定Flume source（监听的路径为/home/hadoop/testFlume,hadoop为用户名，注意修改）
a1.sources.r1.type = spoolDir
a1.sources.r1.spoolDir = /home/hadoop/testFlume

#指定Flume sink
a1.sinks.k1.type = logger

#指定Flume channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#绑定source和sink到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

该配置文件可以完成 数据流向为：spooldir source（监听目录文件的变化） --> memory channel （将数据缓存在内存中）--> logger sink （通过logger输出变化的内容）的数据采集工作。

 

6.创建监听目录

$ mkdir /home/hadoop/testFlume

   注意：以上路径中的hadoop为用户名，注意修改。 

7.启动Flume Agent

flume-ng agent --conf ./ --conf-file flume.conf --name a1 -Dflume.root.logger=INFO,console

8.测试

 打开另外一个终端作为测试终端（重要）！！！往监听目录（/home/hadoop/testFlume）的test.log文件写一些内容：

$ echo "hello flume!" >> /home/hadoop/testFlume/test.log

在监听终端（1 node1），查看输出内容：

 在监听终端看到输出了 hello flume！，正好是测试终端发送过来的内容，说明flume正常工作。

 

完成！ enjoy it！