flume多节点集群搭建

概览

1.Flume流程简介
2.规划
3.配置
4.启动测试
5.注意

准备

操作系统:CentOS 7
搭建好hadoop集群
Flume版本:1.8.0
jdk版本:1.8.0_141
工具:Xshell 5,Xftp 5,VMware Workstation Pro

1.Flume流程简介

Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合，最后存储到一个中心化数据存储系统中,方便进行数据分析。事实上flume也可以收集其他信息，不仅限于日志。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。相比较而言，flume NG更简单更易于管理操作。
Flume OG:Flume original generation 即Flume 0.9.x版本
Flume NG:Flume next generation 即Flume 1.x版本。
Flume NG用户参考手册：http://flume.apache.org/FlumeUserGuide.html#

简单比较一下两者的区别：
OG有三个组件agent、collector、master，agent主要负责收集各个日志服务器上的日志，将日志聚合到collector，可设置多个collector，master主要负责管理agent和collector，最后由collector把收集的日志写的HDFS中，当然也可以写到本地、给storm、给Hbase。

NG最大的改动就是不再有分工角色设置，所有的都是agent，可以彼此之间相连，多个agent连到一个agent，此agent也就相当于collector了，NG也支持负载均衡.

2.规划

三台主机的主机名分别为master,slave1,slave2(防火墙已关闭)

由slave1和slave2收集日志信息,传给master,再由master上传到hdfs上

3.配置

3.1上传解压
在slave1上的usr文件夹下新建个flume文件夹,用作安装路径

[root@slave1 usr]# mkdir flume
[root@slave1 usr]# ls
bin  etc  flume  games  hadoop  hbase  include  java  lib  lib64  libexec  local  sbin  share  sqoop  src  tmp  zookeeper
[root@slave1 usr]# cd flume/

利用Xftp工具将flume压缩包上传到usr/flume文件夹下,解压

[root@sl