hadoop hbase metric名全解释

系统参数监控metrics

load_one            每分钟的系统平均负载

load_fifteen        每15分钟的系统平均负载

load_five           每5分钟的系统平均负载

boottime            系统启动时间，精确到秒

bytes_in            网络接收速度，单位bytes/sec

bytes_out           网络发送速度，单位bytes/sec

cpu_aidle            启动的空闲CPU百分比

cpu_idle            空闲CPU百分比  

cpu_nice            用户进程空间内改变过优先级的进程占用CPU百分比

cpu_num             CPU线程总数

cpu_report          CPU使用情况汇总报告

cpu_speed           CPU速度（MHz）

cpu_system          内核空间占用CPU百分比

cpu_user            用户空间占用CPU百分比

cpu_wio                CPU空闲时的最大I/O请求

proc_total          进程总数

swap_free            空闲交换分区空闲大小

swap_total            空闲交换分区大小（KBs显示）

disk_free            剩余磁盘空间

disk_total            磁盘总大小

ip_address          ip地址列表

last_reported        最后一次报告时间

load_report            系统负载汇总报告

location            定位信息（经纬度）

machine_type        系统版本（X86或64）

mem_buffers            内核缓存的内存总量

mem_cached            缓存内存大小

mem_free            空闲内存大小

mem_report            内存汇总报告

mem_shared            共享内存大小

mem_total            物理内存总量（KBs显示）

os_name                操作系统名称

os_release            操作系统版本

pkts_in                每秒进来的包数

pkts_out            每秒出去的包数

proc_run            运行的进程总数

packet_report        包汇总报告

network_report        网络汇总报告

namenode监控metrics

dfs.namenode.SafeModeTime                        safemode时间

dfs.namenode.AddBlockOps                        写入block次数

dfs.namenode.BlockReportAvgTime                    block report的平均时间次数

dfs.namenode.BlockReportNumOps                    block report的次数

dfs.namenode.CreateFileOps                        创建文件次数

dfs.namenode.DeleteFileOps                        删除文件次数

dfs.namenode.FileInfoOps                        查看文件info次数

dfs.namenode.FilesCreated                        已创建的文件个数

dfs.namenode.FilesDeleted                        已删除的文件个数

dfs.namenode.FilesInGetListingOps                getlist操作次数

dfs.namenode.FilesRenamed                        重命名文件个数

dfs.namenode.FsImageLoadTime                    fsimage加载时间

dfs.namenode.GetAdditionalDatanodeOps            GetAdditionalDatanode操作次数

dfs.namenode.GetBlockLocations                    获取block位置操作次数

dfs.namenode.GetListingOps                        getListing操作次数

dfs.namenode.SyncsAvgTime                        将操作同步为editlog的平均时间

dfs.namenode.SyncsNumOps                        将操作同步为editlog的次数

dfs.namenode.TransactionsAvgTime                transcation的平均时间

dfs.namenode.TransactionsBatchedInSync            transcation在flush时发现已经被sync的情况的次数

dfs.namenode.TransactionsNumOps                    transcation的个数

datanode参数监控metrics

dfs.datanode.BlockReportsAvgTime                            向namenode汇报block的平均时间

dfs.datanode.BlockReportsNumOps                                向namenode汇报block的次数

dfs.datanode.BlocksRead                                        从硬盘读块的次数

dfs.datanode.BlocksRemoved                                    删除块的个数

dfs.datanode.BlocksReplicated                                备份块操作的个数

dfs.datanode.BlocksVerified                                    验证块的次数

dfs.datanode.BlocksWritten                                    写入块的个数

dfs.datanode.BytesRead                                        读出总字节

dfs.datanode.BytesWritten                                    写入总字节

dfs.datanode.CopyBlockOpAvgTime                                复制块的平均时间

dfs.datanode.CopyBlockOpNumOps                                复制块的次数                               

dfs.datanode.HeartbeatsAvgTime                                向namenode汇报的平均时间

dfs.datanode.HeartbeatsNumOps                                向namenode汇报的次数

dfs.datanode.ReadBlockOpAvgTime                                读数据块的平均时间

dfs.datanode.ReadBlockOpNumOps                                读数据块的次数

dfs.datanode.ReadsFromLocalClient                            本地读取的次数

dfs.datanode.ReadsFromRemoteClient                            远程读取的次数

dfs.datanode.WriteBlockOpAvgTime                            写数据块的平均时间

dfs.datanode.WriteBlockOpNumOps                                写数据块的次数

dfs.datanode.WritesFromLocalClient                            写本地的次数

dfs.datanode.WritesFromRemoteClient                            写远程的次数

dfs.datanode.PacketAckRoundTripTimeNanosAvgTime                包确认平均时间

dfs.datanode.PacketAckRoundTripTimeNanosNumOps              包确认次数

dfs.datanode.FlushNanosAvgTime                                文件系统flush平均时间

dfs.datanode.FlushNanosNumOps                               文件系统flush次数

dfs.datanode.ReplaceBlockOpAvgTime                            块替换平均时间

dfs.datanode.ReplaceBlockOpNumOps                            块替换次数    

dfs.datanode.SendDataPacketBlockedOnNetworkNanosAvgTime     网络上发送块平均时间

dfs.datanode.SendDataPacketBlockedOnNetworkNanosNumOps      网络上发生块次数

dfs.datanode.SendDataPacketTransferNanosAvgTime             网络上发送包平均时间

dfs.datanode.SendDataPacketTransferNanosNumOps                网络上发送包个数

HDFS文件系统metric

dfs.FSNamesystem.BlockCapacity                         block的总容量

dfs.FSNamesystem.BlocksTotal                        block的当前容量

dfs.FSNamesystem.CapacityRemainingGB                HDFS文件系统剩余的容量

dfs.FSNamesystem.CapacityTotalGB                    HDFS文件系统总体容量

dfs.FSNamesystem.CapacityUsedGB                        HDFS文件系统已使用的容量

dfs.FSNamesystem.CorruptBlocks                        已损坏的block数量

dfs.FSNamesystem.ExcessBlocks                        多余的block                        

dfs.FSNamesystem.ExpiredHeartbeats                    超时的心跳

dfs.FSNamesystem.FilesTotal                            文件总数

dfs.FSNamesystem.LastCheckpointTime                    最近一次做checkpoint的时间

dfs.FSNamesystem.LastWrittenTransactionId            最近一次写入的transactionid

dfs.FSNamesystem.MillisSinceLastLoadedEdits            距离上一次加载edit的时间

dfs.FSNamesystem.MissingBlocks                        丢失的block数量

dfs.FSNamesystem.TotalFiles                            文件总个数

dfs.FSNamesystem.UnderReplicatedBlocks                副本个数不够的block

dfs.FSNamesystem.PendingDataNodeMessageCount        datanode的请求被queue在standby namenode的个数

dfs.FSNamesystem.PendingDeletionBlocks                未被验证的block个数

dfs.FSNamesystem.PendingReplicationBlocks            等待被备份的block个数

dfs.FSNamesystem.PostponedMisreplicatedBlocks        被推迟处理的错误备份的block个数

dfs.FSNamesystem.ScheduledReplicationBlocks            排定要备份的block个数

dfs.FSNamesystem.TotalLoad                            namenode的Xceiver个数

dfs.FSNamesystem.TransactionsSinceLastCheckpoint    从上次checkpoint起到现在新的transcation的个数

dfs.FSNamesystem.TransactionsSinceLastLogRoll        从上次roll editlog起到现在新的transcation的个数

hbase.master metrics

hbase.master.cluster_requests                        当前机器整体request的个数

hbase.master.splitSize_avg_time                        splitlog的大小

hbase.master.splitSize_num_ops                        splitlog次数

hbase.master.splitTime_avg_time                        splitlog的时间

hbase.master.splitTime_num_ops                        splitlog的次数

hbase参数监控metrics

hbase.regionserver.blockCacheCount                            RegionServer中缓存到blockcache中block的个数。

hbase.regionserver.blockCacheEvictedCount                    BlockCache中被换出的Block的个数。

hbase.regionserver.blockCacheFree                            返回block cache中空闲的内存大小。

hbase.regionserver.blockCacheHitCachingRatio                HitCache表示因为读取不到而cacheblock的行为，blockCacheHitCachingRatio表示发生该行为的比率

hbase.regionserver.blockCacheHitCount                        blockCache命中次数

hbase.regionserver.blockCacheHitRatio                        blockCache命中比例

hbase.regionserver.blockCacheMissCount                        blockCache非命中比例

hbase.regionserver.blockCacheSize                            blockCache大小

hbase.regionserver.compactionQueueSize                        compaction Queue的大小

hbase.regionserver.compactionSize_avg_time                    平均执行一次Compaction的数据大小

hbase.regionserver.compactionSize_num_ops                    执行compaction的次数

hbase.regionserver.compactionTime_avg_time                    平均执行一次Compaction的时间

hbase.regionserver.compactionTime_num_ops                    执行compaction的次数

hbase.regionserver.deleteRequestLatency_75th_percentile        75%的删除请求延时的概率统计

hbase.regionserver.deleteRequestLatency_95th_percentile        95%的删除请求延时的概率统计

hbase.regionserver.deleteRequestLatency_99th_percentile        99%的删除请求延时的概率统计

hbase.regionserver.deleteRequestLatency_max                    删除请求的最大值

hbase.regionserver.deleteRequestLatency_mean                删除请求的平均值

hbase.regionserver.deleteRequestLatency_median                删除请求的中位值

hbase.regionserver.deleteRequestLatency_min                    删除请求的最小值

hbase.regionserver.deleteRequestLatency_num_ops                删除请求的个数

hbase.regionserver.deleteRequestLatency_std_dev                删除请求的标准差

hbase.regionserver.flushQueueSize                            flush Queue的大小

hbase.regionserver.flushSize_avg_time                        平均执行一次flush的数据大小

hbase.regionserver.flushSize_num_ops                        执行flush的次数

hbase.regionserver.flushTime_avg_time                        平均执行一次flush的时间

hbase.regionserver.flushTime_num_ops                        执行flush的次数

hbase.regionserver.fsReadLatencyHistogram_75th_percentile    75%的读HLog时间的概率统计

hbase.regionserver.fsReadLatencyHistogram_95th_percentile    95%的读HLog时间的概率统计

hbase.regionserver.fsReadLatencyHistogram_99th_percentile    99%的读HLog时间的概率统计

hbase.regionserver.fsReadLatencyHistogram_max                读HLog时间的最大值

hbase.regionserver.fsReadLatencyHistogram_mean                读HLog时间的平均值

hbase.regionserver.fsReadLatencyHistogram_median            读HLog时间的中位值

hbase.regionserver.fsReadLatencyHistogram_min                读HLog时间的最小值

hbase.regionserver.fsReadLatencyHistogram_num_ops            读HLog的次数

hbase.regionserver.fsReadLatencyHistogram_std_dev            读HLog时间的标准差

hbase.regionserver.fsReadLatency_avg_time                    读HLog时间的平均时间

hbase.regionserver.fsReadLatency_num_ops                    读HLog时间的次数

hbase.regionserver.fsSyncLatency_avg_time                    sync HLog的平均时间

hbase.regionserver.fsSyncLatency_num_ops                    sync HLog的次数

hbase.regionserver.fsWriteLatencyHistogram_75th_percentile    75%的写HLog的概率统计

hbase.regionserver.fsWriteLatencyHistogram_95th_percentile    95%的写HLog的概率统计

hbase.regionserver.fsWriteLatencyHistogram_99th_percentile    99%的写HLog的概率统计

hbase.regionserver.fsWriteLatencyHistogram_max                写HLog时间的最大值

hbase.regionserver.fsWriteLatencyHistogram_mean                写HLog时间的最大值

hbase.regionserver.fsWriteLatencyHistogram_median            写HLog时间的最大值

hbase.regionserver.fsWriteLatencyHistogram_min                写HLog时间的最大值

hbase.regionserver.fsWriteLatencyHistogram_num_ops            写HLog的次数

hbase.regionserver.fsWriteLatencyHistogram_std_dev            写HLog时间的标准差

hbase.regionserver.fsWriteLatency_avg_time                    写HLog操作的平均Latency

hbase.regionserver.fsWriteLatency_num_ops                    写HLog操作的次数

hbase.regionserver.getRequestLatency_75th_percentile        75%的get请求时间的概率统计

hbase.regionserver.getRequestLatency_95th_percentile        95%的get请求时间的概率统计

hbase.regionserver.getRequestLatency_99th_percentile        99%的get请求时间的概率统计

hbase.regionserver.getRequestLatency_max                    get请求时间的最大值

hbase.regionserver.getRequestLatency_mean                   get请求时间的平均值

hbase.regionserver.getRequestLatency_median                 get请求时间的中位值

hbase.regionserver.getRequestLatency_min                    get请求时间的最小值

hbase.regionserver.getRequestLatency_num_ops                get请求的次数

hbase.regionserver.getRequestLatency_std_dev                get请求时间的标准差

hbase.regionserver.hdfsBlocksLocalityIndex                    统计RegionServer所在机器的数据本地化的概率

hbase.regionserver.hlogFileCount                            hlog file的个数

hbase.regionserver.mbInMemoryWithoutWAL                        RegionServer中不写WAL的Put操作的数据在Memstore占用的空间

hbase.regionserver.memstoreSizeMB                            RegionServer中所有HRegion中的memstore大小的总和

hbase.regionserver.numPutsWithoutWAL                        RegionServer中不写WAL(Write-Ahead-Log)的Put操作的个数

hbase.regionserver.putRequestLatency_75th_percentile        75%的put请求时间的概率统计

hbase.regionserver.putRequestLatency_95th_percentile        95%的put请求时间的概率统计

hbase.regionserver.putRequestLatency_99th_percentile        99%的put请求时间的概率统计

hbase.regionserver.putRequestLatency_max                    put请求时间的最大值

hbase.regionserver.putRequestLatency_mean                   put请求时间的平均值

hbase.regionserver.putRequestLatency_median                 put请求时间的中位值

hbase.regionserver.putRequestLatency_min                    put请求时间的最小值

hbase.regionserver.putRequestLatency_num_ops                put请求的次数

hbase.regionserver.putRequestLatency_std_dev                put请求时间的标准差

hbase.regionserver.readRequestsCount                        读请求的数量：readRequestCount与客户端读取数据的个数不等价，而且大部分情况下readRequestCount 远小于客户端读取数据个数，因为next(1000)只算一次请求

hbase.regionserver.regionSplitFailureCount                    region split失败的次数

hbase.regionserver.regionSplitSuccessCount                    region split成功的次数

hbase.regionserver.regions                                    region的个数

hbase.regionserver.requests                                    请求的数量

hbase.regionserver.rootIndexSizeKB                            storefileIndex的大小，和storefileIndexSizeMB相同

hbase.regionserver.storefileIndexSizeMB                        storefileIndex的大小

hbase.regionserver.storefiles                                RegionServer中所有的Storefiles的个数

hbase.regionserver.stores                                    RegionServer包含的Store的个数

hbase.regionserver.totalStaticBloomSizeKB                    所有Store上的Bloom Filter大小的总和。

hbase.regionserver.totalStaticIndexSizeKB                    HRegionServer上每个HFile文件的IndexSize的大小，这是指未压缩的，不带有其它信息的所有HFileBlockIndex信息的总和 。

hbase.regionserver.writeRequestsCount                        写请求的数量：writeRequestCount与客户端写操作个数不完全等价，批量写只记做一次请求，大部分情况下writeRequestCount远小于客户端写操作的个数(尤其批量写频繁的情况下)。

map/reduce参数监控metrics

mapred.ShuffleMetrics.ShuffleConnections                    shuffle的连接数

mapred.ShuffleMetrics.ShuffleOutputBytes                    shuffle输出数据大小

mapred.ShuffleMetrics.ShuffleOutputsFailed                    shuffle失败的次数

mapred.ShuffleMetrics.ShuffleOutputsOK                        shuffle成功的次数

yarn（map/reduce v2）参数监控metrics

yarn.NodeManagerMetrics.AllocatedContainers                    当前分配的container个数

yarn.NodeManagerMetrics.AllocatedGB                            当前分配的container内存

yarn.NodeManagerMetrics.AvailableGB                            当前free的内存

yarn.NodeManagerMetrics.ContainersCompleted                    完成状态的container个数

yarn.NodeManagerMetrics.ContainersIniting                    初始化状态的container个数

yarn.NodeManagerMetrics.ContainersKilled                    killed状态的container个数

yarn.NodeManagerMetrics.ContainersLaunched                    启动态的container个数

yarn.NodeManagerMetrics.ContainersRunning                    运行态的container的个数

yarn 集群metrics

yarn.ClusterMetrics.NumActiveNMs                            活的nodemanager个数

yarn.ClusterMetrics.NumLostNMs                                不健康的nodemanager个数

yarn 任务队列metrics

yarn.QueueMetrics.ActiveApplications                        活跃的task的个数

yarn.QueueMetrics.ActiveUsers                                活跃的用户个数        

yarn.QueueMetrics.AggregateContainersAllocated                总共分配的container个数

yarn.QueueMetrics.AggregateContainersReleased                总共释放的container个数

yarn.QueueMetrics.AllocatedContainers                        已经分配的container个数

yarn.QueueMetrics.AllocatedMB                                已经分配的内存

yarn.QueueMetrics.AppsCompleted                                已完成的task数

yarn.QueueMetrics.AppsPending                                挂起的task数

yarn.QueueMetrics.AppsRunning                                运行的task数

yarn.QueueMetrics.AppsSubmitted                                已经提交的task数

yarn.QueueMetrics.AvailableMB                                可用的内存

yarn.QueueMetrics.PendingContainers                            挂起的container数

yarn.QueueMetrics.PendingMB                                    挂起的内存

yarn.QueueMetrics.running_0                                    运行时间在0-60分钟内的task个数

yarn.QueueMetrics.running_1440                                运行时间在1440分钟以上的task个数

yarn.QueueMetrics.running_300                                运行时间在300-1440分钟内的task个数

yarn.QueueMetrics.running_60                                运行时间在60-300分钟内的task个数

hadoop rpc参数监控metrics

rpc.metrics.NumOpenConnections                        number of open connections rpc连接打开的数目

rpc.metrics.ReceivedBytes                             number of bytes received rpc收到的字节数

rpc.metrics.RpcProcessingTime_avg_time                Average time for RPC Operations in last interval rpc在最近的交互中平均操作时间                   

rpc.metrics.RpcProcessingTime_num_ops                 rpc在最近的交互中连接数目

rpc.metrics.RpcQueueTime_avg_time                     rpc在交互中平均等待时间

rpc.metrics.RpcQueueTime_num_ops                      rpc queue中完成的rpc操作数目

rpc.metrics.SentBytes                                 number of bytes sent  rpc发送的数据字节

rpc.metrics.callQueueLen                              length of the rpc queue  rpc 队列长度

rpc.metrics.rpcAuthenticationFailures                 number of failed authentications  rpc 验证失败次数

rpc.metrics.rpcAuthenticationSuccesses                number of successful authentications   验证成功数

rpc.metrics.rpcAuthorizationFailures                  number of failed authorizations   授权失败次数

rpc.metrics.rpcAuthorizationSuccesses                 number of successful authorizations  成功次数

rpc.detailed-metrics.canCommit_avg_time                  rpc询问是否提交任务平均时间                                                                                                                                                                                                                                 

rpc.detailed-metrics.canCommit_num_ops                rpc询问是否提交任务次数                                                                                                                                                                                                                                     

rpc.detailed-metrics.commitPending_avg_time           rpc报告任务提交完成，但是该提交仍然处于pending状态的平均时间                                                                                                                                                                                           

rpc.detailed-metrics.commitPending_num_ops            rpc报告任务提交完成，但是该提交仍然处于pending状态的次数                                                                                                                                                                                                    

rpc.detailed-metrics.done_avg_time                    rpc报告任务成功完成的平均时间                                                                                                                                                                                                                               

rpc.detailed-metrics.done_num_ops                     rpc报告任务成功完成的次数                                                                                                                                                                                                                                   

rpc.detailed-metrics.fatalError_avg_time              rpc报告任务出现fatalerror的平均时间                                                                                                                                                                                                                         

rpc.detailed-metrics.fatalError_num_ops               rpc报告任务出现fatalerror的次数                                                                                                                                                                                                                             

rpc.detailed-metrics.getBlockInfo_avg_time            从指定datanode获取block的平均时间                                                                                                                                                                                                                           

rpc.detailed-metrics.getBlockInfo_num_ops             从指定datanode获取block的次数                                                                                                                                                                                                                               

rpc.detailed-metrics.getMapCompletionEvents_avg_time  reduce获取已经完成的map输出地址事件的平均时间

rpc.detailed-metrics.getMapCompletionEvents_num_ops   reduce获取已经完成的map输出地址事件的次数

rpc.detailed-metrics.getProtocolVersion_avg_time      获取rpc协议版本信息的平均时间

rpc.detailed-metrics.getProtocolVersion_num_ops       获取rpc协议版本信息的次数

rpc.detailed-metrics.getTask_avg_time                 当子进程启动后，获取jvmtask的平均时间

rpc.detailed-metrics.getTask_num_ops                  当子进程启动后，获取jvmtask的次数

rpc.detailed-metrics.ping_avg_time                    子进程周期性的检测父进程是否还存活的平均时间

rpc.detailed-metrics.ping_num_ops                     子进程周期性的检测父进程是否还存活的次数

rpc.detailed-metrics.recoverBlock_avg_time             为指定的block开始恢复标记生成的平均时间

rpc.detailed-metrics.recoverBlock_num_ops              为指定的block开始恢复标记生成的次数

rpc.detailed-metrics.reportDiagnosticInfo_avg_time     向父进程报告任务错误消息的平均时间，该操作应尽可能少，这些消息会在jobtracker中保存

rpc.detailed-metrics.reportDiagnosticInfo_num_ops      向父进程报告任务错误消息的次数

rpc.detailed-metrics.startBlockRecovery_avg_time       开始恢复block的平均时间

rpc.detailed-metrics.startBlockRecovery_num_ops        开始恢复block的次数

rpc.detailed-metrics.statusUpdate_avg_time             汇报子进程进度给父进程的平均时间

rpc.detailed-metrics.statusUpdate_num_ops              汇报子进程进度给父进程的次数

rpc.detailed-metrics.updateBlock_avg_time              更新block到新的标记及长度的平均操作时间

rpc.detailed-metrics.updateBlock_num_ops               更新block到新的标记及长度的次数

jvm参数监控metrics

jvm.JvmMetrics.GcCount                            JVM进行GC的次数

jvm.JvmMetrics.GcTimeMillis                        GC花费的时间，单位为微妙

jvm.JvmMetrics.LogError                            Log中输出ERROR的次数

jvm.JvmMetrics.LogFatal                            Log中输出FATAL的次数

jvm.JvmMetrics.LogInfo                            Log中输出INFO的次数

jvm.JvmMetrics.LogWarn                            Log中输出WARN的次数

jvm.JvmMetrics.MemHeapCommittedM                JVM分配的堆大小（单位MB）

jvm.JvmMetrics.MemHeapUsedM                        JVM已经使用的堆大小（单位MB）

jvm.JvmMetrics.MemNonHeapCommittedM                JVM分配给非堆的大小（单位M）

jvm.JvmMetrics.MemNonHeapUsedM                    JVM已使用的非堆的大小（单位M）

jvm.JvmMetrics.ThreadsBlocked                    处于BLOCKED状态线程数量

jvm.JvmMetrics.ThreadsNew                        处于NEW状态线程数量

jvm.JvmMetrics.ThreadsRunnable                    处于RUNNABLE状态线程数量

jvm.JvmMetrics.ThreadsTerminated                处于TERMINATED状态线程数量

jvm.JvmMetrics.ThreadsTimedWaiting                处于TIMED_WAITING状态线程数量

jvm.JvmMetrics.ThreadsWaiting                    处于WAITING状态线程数量

转 http://blog.csdn.net/chenwei825825/article/details/17097255