![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
ITBOY_ITBOX
技术人生,管理天涯
展开
-
Flume概述
Flume定义 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 Flume基于流式架构,灵活简单。 为什么选用Flume? Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS。 Flume的优点 可以和任意存储进程集成。 输入的的数据速率大于写入目的存储的速率,flume会进行缓冲,减小h...原创 2019-05-13 23:02:21 · 153 阅读 · 0 评论 -
Flume组成架构
Flume组成架构 Agent Agent是一个JVM进程,它以事件的形式将数据从源头送至目的。 Agent主要有3个部分组成,Source、Channel、Sink。 Source Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling direc...原创 2019-05-13 23:07:15 · 373 阅读 · 0 评论 -
Flume拓扑结构
Flume的拓扑结构 FlumeAgent连接 目的存储系统。此模式不建议桥接过多的flume数量,flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机,会影响整个传输系统。 单source,多channel、s...原创 2019-05-13 23:38:57 · 165 阅读 · 0 评论 -
Flume安装
1) Flume官网地址 http://flume.apache.org/ 2)文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3)下载地址 http://archive.apache.org/dist/flume/ 安装部署 1)将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/sof...原创 2019-05-13 23:56:37 · 62 阅读 · 0 评论 -
Flume监控之Ganglia
Ganglia的安装与部署 1) 安装httpd服务与php [atguigu@hadoop102 flume]$ sudo yum -y install httpd php 2)安装其他依赖 [atguigu@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel [atguigu@hado...原创 2019-05-14 00:03:08 · 1494 阅读 · 0 评论 -
Flume参数调优
1.Source 增加Source个数(使用Tair Dir Source时可增加FileGroups个数)可以增大Source的读取数据的能力。例如:当某一个目录产生的文件过多时需要将这个文件目录拆分成多个文件目录,同时配置好多个Source 以保证Source有足够的能力获取到新产生的数据。 batchSize参数决定Source一次批量运输到Channel的event条数,适当调大这个...原创 2019-05-15 20:09:47 · 582 阅读 · 0 评论