对于稳定维护hbase,全面掌握分布式系统中的每一台主机状况,以及检测系统可能或正在出现的瓶颈,强大的监控是必须的。
比如:
region数、block住的内存大小、请求数、命中率、flush/split/compact次数和时间、读写响应时间分布、storefile数目、jvm状况、
本文介绍将hbase监控加入ganglia中
hbase本身集成了jmx进行数据采集,这也是沿用hadoop的机制。
配置还是比较简单的,参考 http://hbase.apache.org/metrics.html ,要点:
hbase增加的监控信息非常全面,远远超过hadoop所增加的监控信息。如果还想自定义,请参照 http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/metrics/package-summary.html 来添加自己想看到的信息
比如:
region数、block住的内存大小、请求数、命中率、flush/split/compact次数和时间、读写响应时间分布、storefile数目、jvm状况、
本文介绍将hbase监控加入ganglia中
hbase本身集成了jmx进行数据采集,这也是沿用hadoop的机制。
配置还是比较简单的,参考 http://hbase.apache.org/metrics.html ,要点:
- 拷贝hbase/conf/hadoop-metrics.properties到你定义的配置文件夹
- 选择其中的hbase.class/rpc.class/jvm.class修改为org.apache.hadoop.metrics.ganglia.GangliaContext31
- hbase.servers=GMETADHOST_IP:8649,其中这里的GMETADHOST_IP为gmond.conf中的mcast_join值
- 重启hbase,会看到在ganglia监控画面中增加了很多图表
hbase增加的监控信息非常全面,远远超过hadoop所增加的监控信息。如果还想自定义,请参照 http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/metrics/package-summary.html 来添加自己想看到的信息