flume1.6.0安装部署及agent实例

解压安装

解压

#tar -zxf apache-flume-1.6.0-bin.tar.gz -C /opt/apps

重命名

# mv apache-flume-1.6.0-bin flume

配置环境变量

# vi ~/.bashrc

添加

export FLUME_HOME=/opt/apps/flume
export PATH=$FLUME_HOME/bin:$PATH

修改配置文件flume-env.sh

export JAVA_HOME=/opt/apps/jdk

agent实例

在conf目录下新建flume-conf-hdfs.properties文件如下

#####################################################################
## 监听目录中的新增文件
## this agent is consists of source which is r1 , sinks which is k1,
## channel which is c1
## 
## 这里面的a1 是flume一个实例agent的名字
#####################################################################
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 监听数据源的方式，这里采用监听目录中的新增文件

a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir