Flume大数据集群安装
一 flume 的简介
二 flume的环境准备
三 flume的安装步骤
四 运行测试flume
五 遇见的问题和注意事项
一 flume 的简介
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
flume的组合形式:
Multiplexing the flow(选择分流)
二 flume的环境准备
操作系统:CentOS 7)
搭建好hadoop集群(三台已经搭好集群的虚拟机)
Flume版本:1.8.0 flume 下载地址
jdk版本:jdk1.8.0_171
三 flume的安装步骤
1 master主机 创建tools(安装包目录)将flume安装包上传到tools目录下,然后将flume解压到training(安装目录)目录下(tools,training 目录可以根据个人习惯进行更改)
[root@niit01 ~]# tar -zvxf /tools/apache-flume-1.8.0-bin.tar.gz -c /training/
2 对flume进行重命名,并在conf 目录下复制出flume-env .sh
mv +要重命名的flume + 你重命名后的地址
[root@niit04 flume1]# mv /flume1 /training/flume
[root@niit04 conf]# cp flume-env.sh.template flume-env.sh
3.配置flume -env.sh
进入编辑
[root@niit04 conf]# vim flume-env.sh
只需要更改jdk的安装路径,然后保存退出
export JAVA_HOME=/training/jdk1.8.0_171
4 创建日志文件目录 临时缓存目录
创建logs目录(为空后面否则会报错)
[root@niit01 flume]# mkdir logs
[root@niit01 flume]# ll
总用量 148
drwxr-xr-x 2 root root 59 11月 24 17:17 bin
-rw-r--r-- 1 root root 81264 9月 15 2017 CHANGELOG
drwxr-xr-x 2 root root 4096 11月 24 20:36 conf
drwxr-xr-x 3 root root 18 11月 24 17:31 data
-rw-r--r-- 1 root root 5681 9月 15 2017 DEVNOTES
-rw-r-