Ubuntu安装Ganglia并监控Hadoop集群

最新推荐文章于 2023-10-01 20:37:02 发布

江南浙里

最新推荐文章于 2023-10-01 20:37:02 发布

阅读量3.5k

点赞数 1

分类专栏： hadoop Linux hbase Ubuntu 文章标签： Ganglia hadoop hbase ubuntu LAMP

本文链接：https://blog.csdn.net/wuzhongfei88/article/details/45317651

版权

关于 Ganglia 软件，Ganglia是一个跨平台可扩展的，高性能计算系统下的分布式监控系统，如集群和网格。它是基于分层设计，它使用广泛的技术，如XML数据代表，便携数据传输，RRDtool用于数据存储和可视化。它利用精心设计的数据结构和算法实现每节点间并发非常低的。它已移植到广泛的操作系统和处理器架构上，目前在世界各地成千上万的集群正在使用。它已被用来连结大学校园和世界各地，可以处理2000节点的规模。gmond 带来的系统负载非常少，这使得它成为在集群中各台计算机上运行的一段代码，而不会影响用户性能。

本文采用的是ubuntu14.04 LTS-32bit的系统，安装自带Ganglia

1.首先，需要确保在 Ubuntu14.04 上安装了 LAMP 服务。

如果系统没有安装LAMP服务，请参考我的上一篇博文《Ubuntu上安装 LAMP Server》

Ganglia 由两个所谓主要守护进程 gmond（Ganglia 监测守护进程）和 gmetad（Ganglia 元守护进程），一个基于 PHP 的 Web 前端和其他一些小的实用程序。

1.1Ganglia组件

Ganglia 监控套件包括三个主要部分：gmond，gmetad，和网页接口，通常被称为ganglia-web。

Gmond :是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息如果他是一个发送者(mute=no)他会收集基本指标，比如系统负载（load_one）,CPU利用率。他同时也会发送用户通过添加C/Python模块来自定义的指标。如果他是一个接收者（deaf=no）他会聚合所有从别的主机上发来的指标，并把它们都保存在内存缓冲区中。

Gmetad:也是一个守护进程，他定期检查gmonds，从那里拉取数据，并将他们的指标存储在RRD存储引擎中。他可以查询多个集群并聚合指标。他也被用于生成用户界面的web前端。

Ganglia-web :顾名思义，他应该安装在有gmetad运行的机器上，以便读取RRD文件。集群是主机和度量数据的逻辑分组，比如数据库服务器，网页服务器，生产，测试，QA等，他们都是完全分开的，你需要为每个集群运行单独的gmond实例。

一般来说每个集群需要一个接收的gmond，每个网站需要一个gmetad。　

Ganglia工作流如图所示：