Flume安装及GitHub使用

一、Flume的安装部署

1. 下载解压

   tar -zxvf flume-ng-1.5.0-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/

2. 重命名

   mv apache-flume-1.5.0-cdh5.3.6-bin flume-1.5.0-cdh5.3.6-bin

   

3. 修改配置文件
   
   1. flume-env.sh.template 重命名为 flume-env.sh
      
export JAVA_HOME=/opt/modules/jdk1.7.0_67

   2. 找到HDFS？提供hadoop的jar包
      
      1. 拷贝Hadoop的jar包到flume的lib目录
         
      2. 如何找到HDFS：将HDFS的配置文件放到flume的conf目录下
         
cp ../hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml ../hadoop-2.5.0-cdh5.3.6/etc/hadoop/hdfs-site.xml conf/

         

4. 运行

   通过命令运行一个配置文件agent（自己定义）
           bin/flume-ng
           Usage: bin/flume-ng <command> [options]...
   
   写法：
           bin/flume-ng agent --conf flume_conf_dir --name a1 --conf-file agent_file_path
           参数说明：
           -c或--conf后面跟配置目录
           -f或--conf-file后面跟具体的配置文件
           -n或--name指定Agent的名称
   

---

二、GitHub使用：FlumeGitHub安装

1. 进入目录执行安装

   git clone https://github.com/apache/flume.git

   

2. 安装完成
   
3. 切换版本：git checkout origin/flume-1.7
   
4. 查看当前版本：git branch -a