Flume 安装及配置

一、Flume 集群下载配置

• 从http://flume.apache.org/download.html下载 apache-flume-1.8.0-bin.tar.gz
  1.解压缩 ： tar -zxvf apache-flume-1.8.0-bin.tar.gz
  2.重命名 ： mv apache-flume-1.8.0-bin flume（可省略） ;
  3.修改配置文件 ： mv conf/flume-env.sh.template conf/flume-env.sh ;
  4.修改conf/flume-env.sh : JAVA_HOME=/home/test/tool/java(你的java路径 );
  5.复制flume到其他节点 ： scp -r …… 。

二、实战

参考

https://blog.xiaoxiaomo.com/2016/05/22/Flume-%E9%9B%86%E7%BE%A4%E5%8F%8A%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98/

需求

• A、B两台机器实时生产日志主要类型为access.log、ugcheader.log、ugctail.log , 要求：
  1.把A、B 机器中的access.log、ugcheader.log、ugctail.log 汇总到C机器上然后统一收集到hdfs和Kafka中。
  2.在hdfs中要求的目录为：用作离线统计。

  • /source/access/2016-01-01/
  • /source/ugcheader/2016-01-01/
  • /source/ugctail/2016-01-01/-

  3.Kafka分topic , 用作实时分析。

设计框图