flume的安装

flume安装

版本：
flume-ng：（next generation）: 目前使用该版本
1.5~1.7
flume-og：（Original generation）：以前的版本，淘汰

安装部署

上传解压、重命名
mv apache-flume-1.6.0-cdh5.7.6-bin flume-1.6.0-cdh5.7.6-bin/

修改配置

(1)mv flume-env.sh.template flume-env.sh
export JAVA_HOME=/opt/modules/jdk1.8.0_91

(2)找到HDFS的地址：

全局配置

（1）声明Hadoop_home为全局环境变量
（2）将core-site.xml和hdfs-site.xml放到flume配置文件下(推荐)
cp /opt/cdh5.7.6/hadoop-2.6.0-cdh5.7.6/etc/hadoop/core-site.xml /opt/cdh5.7.6/hadoop-2.6.0-cdh5.7.6/etc/hadoop/hdfs-site.xml ./
（3）直接在使用的时候给HDFS绝对路径
hdfs://hostname:8020/aa/bb
（3）添加HDFS的Jar包lib目录下：在执行的过程中需要使用HDFS api

运行测试

bin/flume-ng agent -n a1 -c conf -f case/1-flume-conf.properties -Dflume.root.logger=INFO,console