Flume大数据集群安装

Flume大数据集群安装

一 flume 的简介
二 flume的环境准备
三 flume的安装步骤
四 运行测试flume
五 遇见的问题和注意事项

一 flume 的简介

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。

flume的组合形式：

Multiplexing the flow（选择分流）

二 flume的环境准备

操作系统:CentOS 7）
搭建好hadoop集群（三台已经搭好集群的虚拟机）
Flume版本:1.8.0 flume 下载地址
jdk版本:jdk1.8.0_171

三 flume的安装步骤

1 master主机 创建tools（安装包目录）将flume安装包上传到tools目录下，然后将flume解压到training（安装目录）目录下（tools，training 目录可以根据个人习惯进行更改）

[root@niit01 ~]# tar -zvxf /tools/apache-flume-1.8.0-bin.tar.gz  -c /training/

2 对flume进行重命名，并在conf 目录下复制出flume-env .sh

mv +要重命名的flume + 你重命名后的地址
[root@niit04 flume1]# mv /flume1  /training/flume
[root@niit04 conf]# cp flume-env.sh.template  flume-env.sh

3.配置flume -env.sh

进入编辑
[root@niit04 conf]# vim flume-env.sh
只需要更改jdk的安装路径，然后保存退出
 export JAVA_HOME=/training/jdk1.8.0_171

4 创建日志文件目录 临时缓存目录
创建logs目录（为空后面否则会报错）

[root@niit01 flume]# mkdir logs
[root@niit01 flume]# ll
总用量 148
drwxr-xr-x  2 root root    59 11月 24 17:17 bin
-rw-r--r--  1 root root 81264 9月  15 2017 CHANGELOG
drwxr-xr-x  2 root root  4096 11月 24 20:36 conf
drwxr-xr-x  3 root root    18 11月 24 17:31 data
-rw-r--r--  1 root root  5681 9月  15 2017 DEVNOTES
-rw-r-