大数据之Flume
Flume是Cloudera提供的一个高可用,高可靠的,分布式的海量日志采集、聚合和传输的系统
念达
沸腾的时光怎能被荒芜
展开
-
1)大数据之Flume(概述)
概述:Flume定义Flume是Cloudera提供的一个高可用,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume基于流式架构,简单灵活。为什么选择flume:Flume最主要的作用就是:实时读取服务器本地磁盘的数据,写入到HDFS。组成架构Flume的组成架构图(简单):Flume的组成架构图(详细):Flume架构中的组件:Agent:Agent...原创 2019-10-04 16:02:37 · 205 阅读 · 0 评论 -
2)大数据之Flume(安装部署、案例)
Flume安装地址Flume官网地址:http://flume.apache.org/文档查看地址:http://flume.apache.org/FlumeUserGuide.html-下载地址:http://archive.apache.org/dist/flume/Flume安装部署将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/...原创 2019-10-04 22:12:55 · 168 阅读 · 1 评论 -
3)大数据之Flume(监控(Ganglia))
Ganglia的安装部署安装httpd服务与php:[zy@hd101 flume]$ sudo yum -y install httpd php安装其他依赖:[zy@hd101 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel安装ganglia:[zy@hd101 flume]$ sudo rpm...原创 2019-10-06 21:01:49 · 157 阅读 · 0 评论