第133讲：Hadoop集群监控Ganglia架构设计和运行机制详细解析学习笔记

第133讲：Hadoop集群监控Ganglia架构设计和运行机制详细解析学习笔记

可监控和显示集群中节点的各种状态信息，如CPU/内存、磁盘利用率，IO负载，网络流量等。

ganglia可将历史数据以曲线形式非常友好地以php页面形式展现，本身有很好的扩展性，允许用户加入自己想监控的信息。要监控特殊信息时方便。

下图是ganglia架构图:

 

ganglia包含几个部分，这几个部分间通信是通过xdl或xml格式传递监控数据。

集群中的节点会运行gmond收集节点状态信息，通过gmetad周期性轮询gmond， poll。交给rrd数据库，通过对数据库查询来展示信息。

gmetad周期性地到各个cluster中收集数据并更新到rrd，gmetad可理解为服务端。gmond收集本机信息并发送到其他机器。gmond间通过udp方式通信，格式是xdl，收集的数据提供给gmond读取，默认端口8649。

监听到gmond请求会发送xml格式文件。

web前端通常会与gmond安装在同一节点（可配置在不同节点）

从gmetad读取数据并读取rrd生成曲线图。

gmetad会周期性地到gmond节点或gmetad节点poll数据。

一个gmetad可设置多个datasource，每个datasource可有多个备份，一个失败可到其他节点读取数据。

传递数据有多种模式：multicast模式时gmond间会通过多播的方式来想到传递数据，gmond发送和接收都有通道还会有tcp receive通道，当接收到tcp通道向其他节点发送接收数据，tcp用来导出xml文件主要来自gmetad的请求，gmetad只有tcp通道，一方面向datasource发送请求，另一方面使用tcp商品发送自己的xml文件，使用8651端口。

所以gmetad可从gmond也可从gmetad获取xml数据。

下图是gmond内部模块：

 

 

由3个部分组成：

Collect and publish thread。周期性地调用指令获得metrics data，然后通过udp发布给其他gmond节点。Listening Threads会监听其他gmond发出的udp数据，放到内存。xml export threads负责把数据以xml格式发布出去，如交给gmetad。

下图是unicast模式下的ganglia系统内部数据流。

 

 

 

有很多gmond通过udp向单播目标host的gmond发送数据，gmetad向该目标host请求xml，存入rrd。在unicast模式，rrd组件（php script)一般在同一节点（master节点）。收集存储显示各节点状态信息。要想让ganglia加入自定义metrics，一种是通过命令行的方式运行gmetrics，另一种方式是通过c/Python扩展块。

下图是整体的状况。

 

很多节点都有gmond（gmond.conf)，gmetad获得xml存入rrd，php脚本访问数据库，在apache服务器上通过运行webserver浏览器显示出通过php访问的集群的状态。

 

备注：

百度百科：

组播（Multicast）传输：在发送者和每一接收者之间实现点对多点网络连接。如果一台发送者同时给多个的接收者传输相同的数据，也只需复制一份的相同数据包。它提高了数据传送效率。减少了骨干网络出现拥塞的可能性。

Unicast(单播):在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机，这种传送方式称为单播。指网络中从源向目的地转发单播流量的过程。单播流量地址唯一。

 

以上内容是王家林老师DT大数据梦工厂《Hadoop深入浅出实战经典》第133讲的学习笔记。
王家林：Spark、Flink、Docker、Android技术中国区布道师。Spark亚太研究院院长和首席专家，DT大数据梦工厂创始人，Android软硬整合源码级专家，英语发音魔术师，健身狂热爱好者。

微信公众账号：DT_Spark

联系邮箱18610086859@126.com 

电话：18610086859

QQ:1740415547

微信号：18610086859  

新浪微博：ilovepains

王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！

可以通过王家林老师的微信号18610086859发红包捐助，目前已经发布的王家林免费视频全集如下：

1，《大数据不眠夜：Spark内核天机解密（共100讲）》：http://pan.baidu.com/s/1eQsHZAq  

2，《Hadoop深入浅出实战经典》 http://pan.baidu.com/s/1mgpfRPu 

3，《Spark纯实战公益大讲坛》 http://pan.baidu.com/s/1jGpNGwu 
4，《Scala深入浅出实战经典》 http://pan.baidu.com/s/1sjDWG25 
5，《Docker公益大讲坛》 http://pan.baidu.com/s/1kTpL8UF 
6，《Spark亚太研究院Spark公益大讲堂》 http://pan.baidu.com/s/1i30Ewsd 

7，Spark实战高手之路全部六阶段视频：http://edu.51cto.com/pack/view/id-144.html

8，《大数据Spark企业级实战》购买http://item.jd.com/11622851.html

 

第133讲视频网站地址：

51CTO

http://edu.51cto.com/lesson/id-78879.html

转载于:https://www.cnblogs.com/richard1023/p/4967687.html