Ganglia工具用于监测服务器集群状态

最新推荐文章于 2023-10-06 07:34:09 发布
最新推荐文章于 2023-10-06 07:34:09 发布
阅读量1k 收藏
点赞数
分类专栏： ganglia
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/clamaa/article/details/70046644
版权
Ganglia的基本结构
 
Ganglia是由gmond, gmetad和gweb三部分组成。
 
gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。gmond在每台主机上完成实际意义上的指标数据收集工作，并通过侦听/通告协议和集群内其他节点共享数据。使用gmond，你可以很容易收集很多系统指标数据，如CPU、内存、磁盘、网络和活跃进程的数据等。
 
gmetad（Ganglia Meta Daemon）是一种从其他gmetad或gmond源收集指标数据，并将其以RRD格式存储至磁盘的服务。gmetad为从主机组收集的特定指标信息提供了简单的查询机制，并支持分级授权，使得创建联合监测域成为可能，该组件真正对gmond集群进行轮询，并将指标数据保存到硬盘。
 
gweb（Ganglia Web）gweb是一种利用浏览器显示gmetad所存储数据的PHP前端。在Web界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。
 


 
 
 
ganglia安装和配置
 
可以直接使用yum命令来进行ganglia的安装：
  
yum install ganglia-gmond -y
yum install ganglia-gmetad -y
yum install httpd php
 
 
安装ganglia-web只需要在主节点上安装，下载对应的tar包，修改MakeFile，执行make install，并安装在apache上启动httpd进程，就可以。
  
GDESTDIR = /var/www/html/ganglia2
 
 
同样地gmetad进程也不需要每个节点都存在，但是每个节点都需要有gmond进程，用于向gmetad上传数据。
 
如果这种方式启动，所有的服务都属于同一个分组（unspecified），如果我们有测试环境和solr环境需要对其进行分组统计压力，则需要对其进行配置的修改，在gmetad服务中：/etc/ganglia/gmetad.conf配置文件中，修改datasource部分：
  
data_source "Test" localhost 192.168.1.xx:8650
data_source "Solr" 192.168.1.2xx:8649
 
 
这表示数据来源，后面配置的ip分别为每个组的组长，但组长是不需要配置gmetad服务的，每个组长需要分配不同的端口号（因为IP是单播IP路由指南，ganglia实际的传输数据通过多播IP来进行）。
 
客户端配置在 /etc/ganglia/gmetad.conf 中，相对来说就比较复杂，根据具体的分组配置对应的cluster name以及端口即可：
  
cluster {
  name = "Solr"
  owner = "unspecified"
  latlong = "unspecified"
  url = "unspecified"
}
 
/* The host section describes attributes of the host, like the location */
host {
  location = "unspecified"
}
 
/* Feel free to specify as many udp_send_channels as you like.  Gmond
   used to only support having a single channel */
udp_send_channel {
  #bind_hostname = yes # Highly recommended, soon to be default.
                       # This option tells gmond to use a source address
                       # that resolves to the machine's hostname.  Without
                       # this, the metrics may appear to come from any
                       # interface and the DNS names associated with
                       # those IPs will be used to create the RRDs.
  mcast_join = 239.2.11.71
  port = 8649
  ttl = 1
}
 
/* You can specify as many udp_recv_channels as you like as well. */
udp_recv_channel {
  mcast_join = 239.2.11.71
  port = 8649
  bind = 239.2.11.71
  retry_bind = true
  # Size of the UDP buffer. If you are handling lots of metrics you really
  # should bump it up to e.g. 10MB or even higher.
  # buffer = 10485760
}
 
 
当前使用的Linux系统版本可以通过 cat /etc/issue查看：CentOS release 6.5，如果需要使用yum安装软件，本机保证能够连接到外网，但我们的服务器并不总是这样（外网ip数量有限，需要购买，而且不便宜），因此需要设置固定的ip值，重新启动，然后随时切换ip。
 
需要编辑网卡地址：/etc/sysconfig/network-scripts/ifcfg-eth0
  
DEVICE=eth0
HWADDR=00:50:56:9x:4x:A0
TYPE=Ethernet
UUID=49cb486a-1d12-44d7-b7c1-b012xx51823f
ONBOOT=no
NM_CONTROLLED=yes
BOOTPROTO=static
DNS1=192.168.1.1
IPADDR=xxx
GATEWAY=xxx
NETMASK=255.255.255.240
 
 
设置对应的IPADDR，GATEWAY，NETMASK，如果DEVICE=eth0，则需要使用下面的命令启动网卡：
  
>ifup eth0
Determining if ip address xxx is already in use for device eth0...
 
 
系统会判断该ip是否可用，并将其启用，启用完成后，使用ifconfig命令就可以看到对应的外网ip，此时就可以通过命令ifdown命令关闭对应的网卡即可。
 
如果没有配置的话，ganglia会默认使用eth0网卡，而eth0网卡一般被配置成外网地址，如果想要配置成使用内网网卡（例如为eth1），则在启动gmetad和gmond进程之前都需要执行下面的命令：
  
ip route add 239.2.11.71 dev eth1
 
 
这里的ip：239.2.11.71为组播地址，在gmond.conf配置文件中设置。注意在设置完成之后，需要将gmond服务重新启动才能生效。
 
分组完成之后，就可以在ganglia首页中看到所有分组，以及其物理视图（physical view，静态信息，当前服务器的CPU，内存等配置信息）：
 


 
以及首页上的根据分组对应的服务器列表，这样更加能够对每个分组中服务器的特性进行监控，例如nginx比较耗费cpu核数以及网络带宽，metaq比较耗费硬盘，solr耗费cpu...针对不同类型的服务器，可以做到相应的监控报警：
 
附一张完整的首页整体图：
 


 
 
 
 
清除ganglia运行数据，ganglia的运行数据在gmetad节点上的目录：/var/lib/ganglia/rrds，/var/lib/ganglia-web/dwoo/cache（默认值）下，将该目录下的文件删除并重启gmetad进程即可。
 
 
监控JVM
 
借助jmxtrans，可以监测java进程内部的数据指标：
 
JMXTrans官网介绍 写道
jmxtrans is a tool which allows you to connect to any number of Java Virtual Machines (JVMs) and query them for their attributes without writing a single line of Java code. The attributes are exported from the JVM via Java Management Extensions (JMX). Most Java applications have made their statistics available via this protocol and it is possible to add this to any codebase without a lot of effort. If you use the SpringFramework for your code, it can be as easy as just adding a couple of annotations to a Java class file.
  
 
 


 
 
jmxtrans工具的安装可以直接从官网上下载对应的rpm包并命令安装即可：
  
sudo rpm -ivh jmxtrans-287e3ce6fe-0.noarch.rpm
Preparing...                ########################################### [100%]
   1:jmxtrans               ########################################### [100%]
 
 
安装完成后，jmxtrans并没有启动，需要增加配置文件: /var/lib/jmxtrans/solr.conf，该文件为收集java vm jmx的相关参数。我们当前监测的节点为solr，对应的host必须为-Djava.rmi.server.hostname设置的名称，端口为-Dcom.sun.management.jmxremote.port对应的端口：
  
{
“servers” : [
{
"host" : "127.0.0.1",
"alias" : "solr",
"port" : "3000",
"queries" : [
{
"obj" : "java.lang:type=Memory",
"resultAlias": "solr1.heap",
"attr" : [ "HeapMemoryUsage", "NonHeapMemoryUsage" ],
“outputWriters” : [
{
"@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
"settings" : {
"groupName" : "Product-JVM",
"host" : "239.2.11.71",
"port" : "8649"
}
}]
},
{
“obj” : “java.lang:name=CMS Old Gen,type=MemoryPool”,
“resultAlias”: “solr1.cmsoldgen”,
“attr” : [ "Usage" ],
“outputWriters” : [
{
"@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
"settings" : {
"groupName" : "Product-JVM",
"host" : "239.2.11.71",
"port" : "8649"
}
}]
},
{
“obj” : “java.lang:type=GarbageCollector,name=*”,
“resultAlias”: “solr1.gc”,
“attr” : [ "CollectionCount", "CollectionTime" ],
“outputWriters” : [
{
"@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
"settings" : {
"groupName" : "Product-JVM",
"host" : "239.2.11.71",
"port" : "8649"
}
}]
},
{
“obj” : “java.lang:type=Threading”,
“resultAlias”: “solr1.threads”,
“attr” : [ "DaemonThreadCount", "PeakThreadCount", "ThreadCount", "TotalStartedThreadCount" ],
“outputWriters” : [
{
"@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
"settings" : {
"groupName" : "Product-JVM",
"host" : "239.2.11.71",
"port" : "8649"
}
}]
},
{
“obj” : “solr/collection1:type=queryResultCache,id=org.apache.solr.search.LRUCache”,
“resultAlias”: “solr1.queryCache”,
“attr” : [ "warmupTime","size","lookups","evictions","hits","hitratio","inserts","cumulative_lookups"
,"cumulative_hits","cumulative_hits","cumulative_hitratio","cumulative_inserts","cumulative_evictions" ],
“outputWriters” : [
{
"@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
"settings" : {
"groupName" : "Product-JVM",
"host" : "239.2.11.71",
"port" : "8649"
}
}]
},
{
“obj” : “solr/collection1:type=searcher,id=org.apache.solr.search.SolrIndexSearcher”,
“resultAlias”: “solr1.searcher”,
“attr” : [ "maxDoc","numDocs","warmupTime" ],
“outputWriters” : [
{
"@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
"settings" : {
"groupName" : "Product-JVM",
"host" : "239.2.11.71",
"port" : "8649"
}
}]
}]
}]
}
 
 
至于其他的选项，直接参考对应的应用中的jmx选项即可，并配置对应的名称，host以及port需要对应ganglia组播的主机名称以及datasource端口。
 
配置完成后，就可以直接启动了，但启动需要满足jps安装在某个特定位置：
  
sudo /etc/init.d/jmxtrans start
正在启动 jmxtrans：Cannot execute /usr/bin/jps -l!
                                                           [失败]
 
 
如果没有安装成功，修改 /usr/share/jmxtrans/jmxtrans.sh 文件指定其他jps 目录即可。
 
传输成功后，就可以在该服务器中能够查看到对应的metric group正常显示出来，以下是配置的product heap jmx相关属性：
 


 
 
 
Ganglia的一些实用工具
 
更多的用户贡献的module，请查看 https://github.com/ganglia/gmond_python_modules
 
ganglia-alert ：获取gmetad数据，并报警 https://github.com/ganglia/ganglia_contrib/tree/master/ganglia-alert
ganglia-docker：在docker中使用ganglia，https://github.com/ganglia/ganglia_contrib/tree/master/docker
gmetad-health-check：监控gmetad服务状态，如果down掉，则restart服务， https://github.com/ganglia/ganglia_contrib/tree/master/gmetad_health_checker
chef-ganglia：用chef部署ganglia， https://github.com/ganglia/chef-ganglia
ansible-ganglia: 使用ansible自动化部署ganglia，https://github.com/remysaissy/ansible-ganglia
ganglia-nagios： 集成nagios和ganglia，https://github.com/ganglia/ganglios
ganglia-api ： 对外提供rest api，以特定格式返回gmetad收集到的数据， https://github.com/guardian/ganglia-api
 
自己实现监控数据指标：Metrics
 
Metrics 是一个 Java 库，提供了用于记录系统指标的各种工具，基本上是我们自己实现的 MetricMBean 的最佳替代品，功能强大，并且支持很多常用组件如 Jetty，Ehcache，Log4j 等，并且可以发送数据到 Ganglia。如果早点发现这个，我可能就不会自己写上面介绍的那一套方案了。对了，它还有 Clojure 绑定，如果是 Clojure 应用，那更可以考虑使用它了。
 
ganglia登录验证
 
  • 大小: 94.2 KB
  • 大小: 62.3 KB
  • 大小: 126.3 KB
  • 大小: 42.2 KB
  • 大小: 107.3 KB
clamaa
关注
专栏目录
集群存储测试工具集
03-09
iozone IOR hpio mpi_io_test mdtest iftop
[转]Ganglia 和 Nagios，第 1 部分: 用 Ganglia 监视企业集群
heiyeluren的blog（黑夜路人的开源世界）
05-12 2466
级别： 中级  Vallard Benincosa, 认证技术销售专家, IBM Japan, Software Group2009 年 4 月 13 日这是两部分系列文章的第一篇文章，介绍使用开源工具 Ganglia 和 Nagios 监视数据中心的解决方案。在第 1 部分中，查看如何安装和配置 Ganglia，它是基于层次结构设计的高性能集群的可扩展、分布式监视系统。此外，通过
脚本监控高可用集群中真实服务器的状态
Hala
02-19 162
LVS健康检测 由于在生产环境中，RS可能出现一些故障，那么LVS应该能够具备检测RS的健康情况，发现RS有问题，应立即从当前集群中删除之，当然keepalive可以解决此情况，这里使用脚本实现 脚本核心思想：循环判断当前RS状态是否正常，正常，静默等待下次循环；不正常，或删除或添加 注意，此实验环境为LVS-DR模式 可参考如下blog LVS的DR模式搭建 脚本内容： #!/bin/bash # VIP=10.10.10.100 #集群虚拟IP CPOR
分布式系统监控软件Ganglia的安装和配置
hailunw的专栏
07-03 160
1）在66服务器（主服务器）上下载安装监控软件Ganglia。 yum install -y epel-release ganglia-gmetad ganglia-devel ganglia-gmond rrdtool httpd ganglia-web php 4）在88和99服务器（非主服务器）上下载安装监控软件ganglia。 yum install -y epel-release gmond ganglia-gmond 5) 在66服务器上作如下配置。 [root@Ne...
集群监视项目Ganglia
03-22
7. **验证配置**：在Web界面中查看集群状态，确保所有节点都被正确地显示出来，并且数据更新及时准确。 8. **优化与维护**：根据实际需求，可能需要进一步调整Ganglia的配置，例如设置数据保留时间、添加自定义指标...
集群监控工具
06-12
4. **可视化界面**：提供友好的图形化界面，直观展示集群状态，便于理解和管理。 5. **自定义指标**：允许用户添加自定义的监控项，以适应特定业务需求。 描述中提及的“可以查看集群中的机器消耗资源情况”，这...
Ganglia系统状态监控软件安装配置手册
03-31
Ganglia是一款强大的系统状态监控软件，主要用于监测各种性能指标，包括CPU利用率、内存使用、硬盘I/O、网络流量等，以帮助用户了解系统的工作状态并优化资源分配，提升整体性能。Ganglia的核心组件包括两个守护进程...
ganglia+hadoop+hbase nagios 学习参考链接
08-11
在Hadoop集群中，Ganglia是常用的选择，因为它可以实时展示集群的健康状况，帮助管理员检测潜在问题。Ganglia通过Gmond（数据收集器）和Gmetad（数据聚合器）组件来工作，提供直观的Web界面展示监控数据。 Hadoop是...
基于zookeeper集群监测服务器宕机情况，并发邮件通知
04-08
由于项目需要，编写基于zookeeper集群监测服务器宕机情况，并发邮件通知代码；实现很简单，编写了客户端和服务端，基于maven实现，代码方面修改zookeeper ip地址，需要部署的服务器名和邮件信息即可实现。直接打包jar包，服务端jar包放在需要检测的服务器中运行，客户端jar包放在另外服务器中运行。原理:服务器端向zookeeper注册，在znode节点创建文件，zookeeper心跳检测，一旦服务器宕机，znode节点的文件会删除，客户端会响应做出相应的操作，如发邮件通知。
Docker搭建ganglia分集群监控
mc1478的博客
01-26 452
Docker搭建ganglia分集群监控 系统版本为Centos7.x 假定有6台集群，192.168.10.{101…106}，前三台作为A集群，后三台作为B集群，101为 gmetad机, A 集群采用yum安装，B集群采用手动安装RPM 0.检查是否关闭防火墙 selinux等 #更改启动模式 systemctl set-default multi-user.target #关闭防火墙，selinux systemctl stop firewalld systemctl disable firew
docker image 实践之容器化 ganglia
weixin_34257076的博客
01-27 255
基础镜像 单播模式下检测效果 使用centos:6作为基础镜像,因为centos:7没有使用systemd作为系统服务管理工具.这在后面启动ganglia进程的时候会带来很多麻烦,但是有解决方案(由dockone社区微信群大神给出的解决方案,个人并未尝试): 使用supervisor来统一管理进行 runt管理进程 Dockerfi...
【个人笔记】Ganglia
divergent_zlj博客
04-25 869
发现一个集群监控的可视化工具Ganglia，还不错 https://www.cnblogs.com/yuki-lau/p/3201110.html
Ganglia API安装与使用
云原生社区博客分享
08-01 2445
Ganglia监控本身没有提供API可供外部程序调用，不过根据ganglia监控的原理，可以通过分析gmetad的端口的xml来直接获取metrics。
使用Ganglia API在服务器上进行安装和使用
最新发布
TpCode的博客
10-06 103
本文介绍了如何在服务器上安装和使用Ganglia API。通过安装Ganglia并使用Python的Ganglia模块，我们可以连接到Ganglia服务并获取集群中的主机列表、指标数据以及汇总指标图表。这为开发人员提供了一种方便的方式来与Ganglia进行交互，并根据需要进行监控和分析。Ganglia是一个开源的分布式系统监控工具，它可以帮助管理员实时监控和可视化集群中的各种指标。Ganglia API提供了一种编程接口，使开发人员可以通过编程方式与Ganglia进行交互。使用Ganglia API。
java ganglia_Ganglia文档（一）
weixin_35178718的博客
02-16 311
Ganglia总结ganglia是一种分布式监控系统。ganglia的设计便是基于大型集群进行设计的。主要体现在数据的获取方式以及分层设计。系统环境：CentOS 5.5 (64位)服务器 ：Dell R510与cacti的比较起初，对于为什么非要使用ganglia而不使用cacti，让我很迷惑。不过后来在部署过程中，以及后期的体验中。主要由两点1. 部署的方便性。相对于cacti的逐台服务器的...
使用Ganglia监控服务器运行状态
weixin_33943836的博客
01-17 271
Ganglia 简介Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为gmond的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ga...
ganglia监控hadoop集群配置
owen-li
04-21 3066
1：ganglia简介 ganglia是UC Berkeley发起的一个开源集群监控项目，设计用于测量和监控数以千计的节点。 主要是采用监控系统性能，如cpu，内存，硬盘使用率，I/O负载，网络流量情况等。 ganglia采用多层次的结构模式，是的ganglia可以实现良好的扩展。 gmond带来的负载非常少，这使得它成为在集群中各台计算机上运行的 一段代码，而不会影响用户性能。 2：g
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值