Hadoop监控之Ganglia整合

本文介绍了Ganglia的基本原理,包括gmond和gmetad的作用,以及Ganglia的Multicast和Unicast网络通信方式。详细讲解了Ganglia在Hadoop集群中的安装、配置和启动过程,并探讨了Hadoop与Ganglia的集成,通过修改配置文件实现监控。最后展示了Ganglia监控结果的艺术化图表。
摘要由CSDN通过智能技术生成
1 Ganglia基本原理

这里写图片描述
在Hadoop产生之前就有Ganglia,他是为集群系统监控而生。Hadoop利用Ganglia的接口,从而实现了对Ganglia的兼容。

1.1 gmond

分布在各个节点上的监控进程,搜集本节点的监控信息。针对Hadoop监控,可以采用同样的协议向gmond服务发送Hadoop的监控信息。

1.2 gmetad

相当与集群中的中心节点,主动拉取各个节点上收集到的监控信息。可以设置多层的gmetad,这样形成一个联邦系统,从而减少gmeta本身的压力。一个gmeta最多大概能承受500个节点的信息上报,数目过多会造成gmeta节点本身性能下降。
gmetad中存储监控信息的方式是rrd为后缀名的文件,每个监控指标有一个文件相对应。

2 Ganglia的网络通信方式。
1.1 默认的Multicast

这里写图片描述
每个集群(Host Cluster)中的每个节点采用同一个主播地址,这样监控信息可以被任何一台机器看到。好处是节省带宽,和不存在单点故障(因为gmetad只需要从主播地址取数据就行了),但是需要Hub这样的硬件支持,有些switch是不支持主播地址的。在云服中,S3和阿里云等可能也不支持主播。

gmetad从主播地址拉取监控信息之后,将监控信息交给RRDtool这个类,负责向磁盘中写rrd文件。
gweb模块通过网页的方式,读取rrd文件,生成监控图表。

1.2 单播unicast

这里写图片描述
于主播方式唯一不同的地方是所有的节点先将监控信息send到一个中心节点,图中为node1~node3将监控信息主动推到node4.
之后gmetad主动拉取gmond4上汇总的监控信息,从而实现rrd文件的更新。

3 安装方式

在centos的repo中已经有比较稳定的Ganglia版本ÿ

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值