![](https://img-blog.csdnimg.cn/20190925010913787.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flume
不稳定记忆
静心则专,静思则通,静身则安,静默则熟。
展开
-
Flume Agent内部原理以及Flume拓扑结构
Flume Agent内部原理 Flume拓扑结构 一、Flume Agent连接 这种模式是将多个flume给顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量, flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机,会影响整个传输系统。 二、单source,多channel、sink ...原创 2019-12-07 20:50:54 · 240 阅读 · 0 评论 -
Flume
一、Flume简介 1) Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务,Flume只能在Unix环境下运行。 2) Flume基于流式架构,容错性强,也很灵活简单。 3) Flume、Kafka用来实时进行数据收集,Spark、Storm用来实时处理数据,impala用来实时查询。 二、Flume角色 2.1、Source 用于采集数据,Sou...原创 2019-09-24 16:23:06 · 107 阅读 · 0 评论 -
Flume监控之Ganglia
1 Ganglia的安装与部署 1) 安装httpd服务与php # yum -y install httpd php 2) 安装其他依赖 # yum -y install rrdtool perl-rrdtool rrdtool-devel # yum -y install apr-devel 3) 安装ganglia # rpm ...原创 2019-09-24 17:22:55 · 359 阅读 · 0 评论