HBase JMX 指标学习

最新推荐文章于 2024-04-13 20:21:04 发布
最新推荐文章于 2024-04-13 20:21:04 发布
阅读量1.8k 收藏 4
点赞数 2
分类专栏： Hbase 文章标签： hbase 学习 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Samooyou/article/details/129275640
版权

名词解释：

JMX：Java Management Extensions，用于用于Java程序扩展监控和管理项。

GC：Garbage Collection，垃圾收集，垃圾回收机制。

1、概述

说到对Hadoop和 HBase的集群监控，大家知道的和用的最多的可能还是第3方的监控工具，cacti，ganglia，zabbix之类的。其实Hadoop本身是带有监控接口的，这个接口非常详细，也非常方便，就是JMX。

JMX全称是Java Management Extensions，用于Java程序扩展监控和管理项。而许多Hadoop系统都提供了丰富的JMX监控项，所以我们可以直接从HBase系统本身提供的JMX信息获取我们需要的监控项。HJMX web页面的数据格式是 json 格式。

2、指标来源

hbase的jmx在1.0后分开了master和regionserver的jmx监控。

启动 HBase 后，如果要查看查看 Master 的指标，请连接到 Master 的 Web UI， 默认为 http:// localhost:60010 或 HBase 1.0+中的端口 16010）

如果要查看查看 regionServer的指标，请访问区域服务器的 Web UI，默认情况下为 http:// REGIONSERVER_HOSTNAME:60030 （或 HBase 1.0+中的端口 16030）。

小技巧：

如果想要在列表中包含指标描述 - 这在你探索可用内容时非常有用，添加查询字符串?description=true，如： http://REGIONSERVER_HOSTNAME:60030/jmxdescription=true 。并非所有 bean 和属性都有描述。

由于信息比较多，也提供了一个qry=name的方式获取具体某一项所需的数据，例如：http://namenode:50070/jmx?qry=hadoop:service=NameNode,name=NameNodeInfo只收集namenode相关的数据。

所以我们可以用多线程或多进程同时采集多个指标项，同时也要注意在每个线程处理的时候数应该是异步的，否则同步可能导致某一个指标项采集阻塞， 使得之后的所有指标项在一个采集周期内无法正常返回数据。

3、监控指标说明

（1）主机基本监控项

CPU，内存，磁盘，网络 主机四大基本监控项，这4项机器监控保证我们运行我们HBase集群的机器是正常的。

数据来源：获取对象为java.lang:type=OperatingSystem，我们以http://xxxxxx:60010/jmx?qry=java.lang:type=OperatingSystem为例，可以访问到如下信息：

 

指标项说明
FreePhysicalMemorySize空闲物理内存大小
ProcessCpuLoad进程cpu使用率
SystemCpuLoad系统cpu使用率
AvailableProcessors处理器核数

（2）JVM监控项

HBase 集群涉及的系统 HDFS，HBase，ZooKeeper都是用 Java 编写的，运行在 JVM 中，必须采集 JVM 相关的监控项。 Hbase 中对于 JVM 的监控数据，主要是 JvmMetrics 的对象来进行的。

JvmMetrics 主要统计的信息包括：内存的使用状态信息； GC 的统计信息；线程的统计信息；以及事件的统计信息。

数据来源：获取对象为Hadoop:service=HBase,name=JvmMetrics，我们以http://xxxxxx:60010/jmx?qry=Hadoop:service=HBase,name=JvmMetrics为例，可以访问到如下信息：

 

类型指标项说明
内存MemNonHeapUsedMJVM 当前已经使用的 NonHeapMemory 的大小
内存MemNonHeapMaxMJVM 配置的 NonHeapMemory 的大小
内存MemHeapUsedMJVM 当前已经使用的 HeapMemory 的大小
内存MemHeapMaxMJVM 配置的 HeapMemory 的大小
内存MemMaxMJVM 运行时的可以使用的最大的内存的大小
GCGcCountParNew新生代GC次数
GCGcTimeMillisParNew新生代GC耗时(ms)
GCGcCountConcurrentMarkSweep老年代GC次数
GCGcTimeMillisConcurrentMarkSweep老年代GC耗时
线程ThreadsNew当前线程的处于 NEW 状态下的线程数量
线程ThreadsRunnable当前线程的处于 RUNNABLE 状态下的线程数量
线程ThreadsBlocked当前线程的处于 BLOCKED 状态下的线程数量
线程ThreadsWaiting当前线程的处于 WAITING 状态下的线程数量
线程ThreadsTimedWaiting当前线程的处于 TIMED_WAITING 状态下的线程数量
线程ThreadsTerminated当前线程的处于 TERMINATED 状态下的线程数量
事件LogFatal固定时间间隔内的 Fatal 的数量
事件LogError固定时间间隔内的 Error 的数量
事件LogWarn固定时间间隔内的 Warn 的数量
事件LogInfo固定时间间隔内的 Info 的数量

（3）HBase集群各系统存活监控项

HBase集群各个系统的进程是否存活是必须也是最基本的监控项。具体有hmaster；regionserver；namenode；datanode；journalnode；zkfc；zookeeper的存活监控。

具体判断存活的方式我们可以去判断各系统相应的进程是否存在，也可以去判断各系统的web页面或者jmx页面是否正常。

       3.1  master监控

数据来源：获取对象为Hadoop:service=HBase,name=Master,sub=Server，我们以http://xxxxx:60010/jmx?qry=Hadoop:service=HBase,name=Master,sub=Server为例，可以访问到如下信息：

指标项说明
tag.liveRegionServers活动的region
tag.deadRegionServers停止的region

3.2  regionserver监控

3.2.1  每个表每个region的数据

数据来源：获取对象为Hadoop:service=HBase,name=RegionServer,sub=Regions，我们以http://xxxx:60030/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Regions为例，可以访问到如下信息（以下仅展示一部分）：

 

指标项说明

每个表每个region的的指标项说明

第一个xxx代表namespace名

第二个xxx代表表名

第三个xxx代表region的ID

指标项说明
Namespace_xxx_table_xxx_region_xxx_metric_storeCountStore个数
Namespace_xxx_table_xxx_region_xxx_metric_storeFileCountStoreFile个数
Namespace_xxx_table_xxx_region_xxx_metric_memStoreSizememStrore大小
Namespace_xxx_table_xxx_region_xxx_metric_storeFileSizestoreFile大小
Namespace_xxx_table_xxx_region_xxx_metric_compactionsCompletedCount合并完成次数
Namespace_xxx_table_xxx_region_xxx_metric_numBytesCompactedCount合并文件总大小
Namespace_xxx_table_xxx_region_xxx_metric_numFilesCompactedCount合并完成文件个数

3.2.2  每个regionserver的监控数据

大致分为server、IPC、WAL、Memory、MemoryPool四类，数据较长，以下仅展示一部分

 

 
 

 
 

 
 

 
 

下面介绍一些最重要的 RegionServer 指标（摘自HBase官网）：
 

hbase.regionserver.regionCount：区域服务器托管的区域数量
 

hbase.regionserver.storeFileCount：当前由 regionserver 管理的磁盘上的存储文件数
 

hbase.regionserver.storeFileSize：磁盘上存储文件的聚合大小
 

hbase.regionserver.hlogFileCount：尚未归档的预写日志数
 

hbase.regionserver.totalRequestCount：收到的请求总数
 

hbase.regionserver.readRequestCount：收到的读取请求数
 

hbase.regionserver.writeRequestCount：收到的写入请求数
 

hbase.regionserver.numOpenConnections：RPC 层的打开连接数
 

hbase.regionserver.numActiveHandler：主动为请求提供服务的 RPC 处理程序的数量
 

hbase.regionserver.numCallsInGeneralQueue：当前排队的用户请求数
 

hbase.regionserver.numCallsInReplicationQueue：从复制中收到的当前排队操作的数量
 

hbase.regionserver.numCallsInPriorityQueue：当前排队的优先级（内部管家）请求的数量
 

hbase.regionserver.flushQueueLength：memstore 刷新队列的当前深度。如果增加，我们落后于清除 HDFS 的存储库。
 

hbase.regionserver.updatesBlockedTime：已阻止更新的毫秒数，因此可以刷新 memstore
 

hbase.regionserver.compactionQueueLength：压缩请求队列的当前深度。如果增加，我们落后于 storefile 压缩。
 

hbase.regionserver.blockCacheHitCount：块缓存命中数
 

hbase.regionserver.blockCacheMissCount：块缓存未命中数
 

hbase.regionserver.blockCacheExpressHitPercent：打开缓存请求的时间百分比达到缓存
 

hbase.regionserver.percentFilesLocal：可从本地 DataNode 读取的存储文件数据的百分比，0-100
 

hbase.regionserver. <op>_<measure></measure></op>操作延迟，其中<op>是 Append，Delete，Mutate，Get，Replay，Increment 之一;其中<measure>是 min，max，mean，median，75th_percentile，95th_percentile，99th_percentile</measure> </op>中的一个
 

hbase.regionserver.slow <op>计数</op>：我们认为操作的数量很慢，其中<op>是以上列表中的一个</op>
 

hbase.regionserver.GcTimeMillis：垃圾收集所花费的时间，以毫秒为单位
 

hbase.regionserver.GcTimeMillisParNew：在年轻一代的垃圾收集中花费的时间，以毫秒为单位
 

hbase.regionserver.GcTimeMillisConcurrentMarkSweep：在旧一代的垃圾收集中花费的时间，以毫秒为单位
 

hbase.regionserver.authenticationSuccesses：身份验证成功的客户端连接数
 

hbase.regionserver.authenticationFailures：客户端连接验证失败的次数
 

hbase.regionserver.mutationsWithoutWALCount：提交的写入计数带有一个标志，指示它们应绕过写入日志
 

 

 

IPC类：
 

TotalCallTime_mean：总调用耗时(包括队时间和处理时间)
 

TotalCallTime_95th_percentile：调用P95耗时(包括队时间和处理时间)
 

TotalCallTime_99th_percentile：调用P99耗时(包括队时间和处理时间)
 

QueueCallTime_mean：队列调用耗时
 

 

 

 

 


                

        

        

    




            

                    
            

    

      

        

            

              
                
                  Samooyou
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    2
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    4
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
HBase监控与管理：JMX与Ganglia

				
			

			

				

					禅与计算机程序设计艺术
				

				

					02-20
					
					54
					
				

			

		

		

			
				
1.背景介绍
在大数据时代，HBase作为一种分布式、可扩展、支持大规模数据存储的NoSQL数据库，已经在许多大型互联网公司得到了广泛应用。然而，随着数据规模的不断扩大，如何有效地监控和管理HBase的运行状态，成为了我们面临的一大挑战。本文将介绍如何使用JMX和Ganglia两种工具，对HBase进行有效的监控和管理。


			
		

	



                

              
                



	

		

			

				
					
《HBase权威指南》读书笔记10:第十章 集群监控

				
			

			

				

					软件哲学
				

				

					10-31
					
					2188
					
				

			

		

		

			
				
监控框架HBase使用Hadoop的监控框架，基于MetricsContext接口来处理监控数据点的生成

			
		

	



                


  
              

                


	

		

			

				
					
【夜莺监控HBASE记录】

				
			

			

				

					MttStone的博客
				

				

					08-19
					
					248
					
				

			

		

		

			
				
夜莺监控HBASE完整过程记录，包含监控大盘完整JSON

			
		

	





	

		

			

				
					
HBase的性能指标和监控

				
			

			

				

					互联网知识分享
				

				

					09-04
					
					797
					
				

			

		

		

			
				
存储集群中使用的存储空间占总存储空间的比例。较高的存储空间利用率表示更好的资源利用率。较高的读吞吐量表示更好的性能。较高的写吞吐量表示更好的性能。可以根据需要对指标数据进行进一步的处理和展示。较低的读延迟表示更好的性能。较低的写延迟表示更好的性能。集群中使用的内存占总内存的比例。较高的内存利用率表示更好的资源利用率。的各种指标数据，如读延迟、写延迟、读吞吐量、写吞吐量等。来收集指标数据，并提供功能强大的查询和可视化功能。集群的各种指标数据，并提供可视化界面展示。的性能，需要收集和分析各种指标数据。

			
		

	



		

			
		



	

		

			

				
					
通过 JMX（Java Management Extensions）查询 Java 应用程序的性能指标

					
最新发布

				
			

			

				

					qq_45044477的博客
				

				

					04-13
					
					1035
					
				

			

		

		

			
				
主要是java检测工具的主要实现方法，掌握之后+前端，就可以实现自己监控JVM

			
		

	





	

		

			

				
					
HBase-14.2-JMX监控实战

				
			

			

				

					dly的博客
				

				

					09-05
					
					631
					
				

			

		

		

			
				
RegionServerInfo实体类，HBaseSummary实体类，HbaseUtil主体工作方法类（使用http工具类获取jmx的json字符串，解析后，赋值到HBaseSummary实体类中并展示），main方法入口类MonitorApp。

			
		

	





	

		

			

				
					
Cloudera Manage中jmx_prometheus_javaagent-xxx.jar监控hive、hbase

				
			

			

				

					weixin_46072377的博客
				

				

					07-24
					
					414
					
				

			

		

		

			
				
根据jmx_prometheus_javaagent包和hbase.yml实际位置修改。根据jmx_prometheus_javaagent包和hs2.yml实际位置修改。

			
		

	





	

		

			

				
					
HBase 部署

				
			

			

				

					大家一起入坑
				

				

					10-01
					
					448
					
				

			

		

		

			
				
-------------- 启动 historyserver ------------------------ zookeeper hadoop102 启动 ---------------------- zookeeper hadoop103 启动 --------------------------- 启动 hdfs ------------------------------ 启动 yarn ---------------将两个 export 注释掉即可。时间同步才能启动 HBase。

			
		

	





	

		

			

				
					
hbase-exporter:HBase Prometheus导出器

				
			

			

				

					03-05
				

			

		

		

			
				
hbase-exporterHBase Prometheus导出器收集指标并中继JMX指标以供Prometheus使用由于JMX中一些重要的指标缺失或为空，因此我们另外分析了HBase主界面，例如“过渡中的过时区域” 解析“ hbase hbck”命令的输出以...

			
		

	





	

		

			

				
					
Hbase分布式数据库-其他

				
			

			

				

					06-12
				

			

		

		

			
				
Hbase是Apache的NoSQL分布式可扩展Hadoop...Thrift网关和支持XML，Protobuf和二进制数据编码选项的REST-ful Web服务可扩展的基于Jruby的（JIRB）Shell支持通过Hadoop指标子系统将指标导出到文件或Ganglia；或通过JMX

			
		

	





	

		

			

				
					
监控HBase集群

				
			

			

				

					01-02
				

			

		

		

			
				
HBase输出指标的框架是基于Hadoop的指标框架（metrics framework），该框架提供了一个统一的方式来输出指标信息。HBase使用Hadoop的指标框架来输出自己的指标信息。目前，HBase使用指标框架v1（metrics framework v1...

			
		

	





	

		

			

				
					
Hbase和Hadoop JMX监控实战

				
			

			

				

					12-13
				

			

		

		

			
				
Hbase和Hadoop JMX监控实战

			
		

	





	

		

			

				
					
HBase监控方法以及核心指标

				
			

			

				

					李姓门徒
				

				

					01-18
					
					1272
					
				

			

		

		

			
				
整理和梳理日常hbase的监控核心指标，作为经验沉淀

			
		

	





	

		

			

				
					
Hbase相关-Grafana监控解读

				
			

			

				

					weixin_47099283的博客
				

				

					11-18
					
					1637
					
				

			

		

		

			
				
Hbase服务-Grafana监控指标解读

			
		

	





	

		

			

				
					
HBase性能优化：HBase性能的监控与优化

				
			

			

				

					禅与计算机程序设计艺术
				

				

					01-21
					
					981
					
				

			

		

		

			
				
1.背景介绍

1. 背景介绍

HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase具有高可靠性、高性能和易用性，适用于大规模数据存储和实时数据处理。

随着HBase的广泛应用，性能优化成为了关键问题。为了提高HBase的性能，我们需要监控HB...

			
		

	





	

		

			

				
					
HBase-14.1-JMX监控实战-hadoop

				
			

			

				

					dly的博客
				

				

					09-05
					
					667
					
				

			

		

		

			
				
编写：DataNodeInfos实体类，HDFSSummary实体类，http工具类，json工具类，主体方法（使用http工具类获取jmx的json字符串，解析后，赋值到HDFSSummary实体类中并展示）

			
		

	





	

		

			

				
					
1.kafka源码分析

					
热门推荐

				
			

			

				

					colossus——bigdata的专栏
				

				

					12-26
					
					1万+
					
				

			

		

		

			
				
kafka 源码

			
		

	





	

		

			

				
					
HBase内存配置及JVM优化

				
			

			

				

					mnasd的博客
				

				

					09-23
					
					2203
					
				

			

		

		

			
				
本文从HBase的内存布局说起，先充分了解HBase的内存区的使用与分配，随后给出了不同业务场景下的读写内存分配规划，并指导如何分析业务的内存使用情况，以及在使用当中写内存Memstore及读内存扩展bucketcache的一些注意事项，最后为了保障群集的稳定性减少和降低GC对于集群稳定性的影响，研究及分享了一些关于HBase JVM配置的一些关键参数机器作用和范例，希望这些不断充实的经验能确保HBase集群的稳定性能更上一个台阶，大家有任何的想法和建议也欢迎一起讨论。

			
		

	





	

		

			

				
					
HBase 监控及优化

				
			

			

				

					tom_fans的博客
				

				

					03-23
					
					1484
					
				

			

		

		

			
				
最近有一些时间，一直在想，如果有几百台甚至上千台Hadoop集群，需要怎么来监控？ 监控的意义是为了了解整个集群的状态是否良好，以便考虑是否需要扩容，配置是否需要调整等等。但是如果几百台上千台集群，即使我们有监控，怎么能够快速了解集群状态呢？ 以下我自己根据我自己一些经验来谈谈，我们拿HBASE来做例子，之前我写了几篇对HBASE内部分析的文章，但只涉及部分HBASE的东西，希望今天能更全面一点。...

			
		

	





	

		

			

				
					
jmx采集hbase监控指标的官网介绍网址是什么 如何从linux机器上访问hbase的jmx监控地址

				
			

			

				

					05-17
				

			

		

		

			
				
HBase官方文档中有相关介绍：https://hbase.apache.org/book.html#_monitoring

要从Linux机器上访问HBase的JMX监控地址，可以使用JConsole或JVisualVM等工具来连接HBase的JMX端口并获取监控数据。通常情况下，HBase的JMX默认端口是10102，可以在hbase-site.xml配置文件中进行修改。例如，如果HBase集群中的某个节点的IP地址是192.168.1.100，那么可以在Linux机器上使用以下命令来连接该节点的JMX端口并获取监控数据：

```
jconsole 192.168.1.100:10102
```

需要注意的是，如果HBase的JMX端口没有开放或者被防火墙拦截，那么就无法从远程机器上访问该端口。此时可以通过在HBase的hbase-env.sh文件中添加以下配置来开启JMX远程访问：

```
export HBASE_JMX_BASE="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false"
```

然后重启HBase服务即可。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值