![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase运维
文章平均质量分 91
yang_tie_cheng
这个作者很懒,什么都没留下…
展开
-
[Binospace] HBase Metrics机制分析与架构总结
HBase MetricsHBase Metrics是一种监控信息实时收集机制。它负责收集的信息有:功能性信息(Compaction Queue、Store Files个数等)JVM使用信息 (Heap Memory 的变化)rpc访问信息借助与Hadoop Metrics同样的方式,向Ganglia汇报。Ganglia is a scalable distri...原创 2014-02-27 17:36:45 · 137 阅读 · 0 评论 -
[Binospace] HBase监控之Region空洞
Region是HBase的资源管理单位,在Region的生命周期内,一个Region迁移会发生在如下的情况下:1)HMaster的Load Balance,造成部分Region在RS之间迁移。默认使用了org.apache.hadoop.hbase.master.DefaultLoadBalancer,仅仅考虑RS上Region个数的分配的均衡性。2)Region Split过程。这部分内...原创 2014-02-28 09:27:03 · 336 阅读 · 0 评论 -
[Binospace] HBase Metrics参数详解
本研究针对HBase 0.94.* 及以上版本的系统。RegionServer本目标主要集中分析在RegionServer提供的相关Metrics接口。在0.94新版本中,Metrics包括:RegionServerMetrics、JvmMetrics、以及RegionServerDynamicMetrics。下面分别进行介绍。1、RegionServerMetrics这是延续...原创 2014-02-28 17:44:56 · 637 阅读 · 0 评论 -
[Binospace] HBase隔离技术
背景:随着HBase在性能和稳定性持续改善和成功案例的积累,HBase逐渐成为了在大数据NoSQL领域的事实标准。越来越多有着大数据应用和处理需求的互联网公司、IT公司,将离线或者半在线的数据平台搭建在HBase之上。在深入使用和运维过程中,我们发现当新的应用需求而来时,处于性能和效率的考虑,我们就要根据数据规模单独搭建系统,而应用需求和规模的变化,会给HBase的运维和资源使用带来了...原创 2014-03-01 16:11:07 · 214 阅读 · 0 评论 -
[Binospace] HBase实战系列2—Region监控
1、背景随着大数据表格应用的驱动,我们的HBase集群越来越大,然而由于机器、网络以及HBase内部的一些不确定性的bug,使得系统面临着一些不确定性的故障。因此,HBase上有很多的Region组成,需要控制每个表格的Region的状态。 分析:1)实时掌控Region的状态。应用的每次访问要直接与HBase某个Region关联,需要探测Table上Region是否处于可...原创 2014-03-03 11:13:15 · 112 阅读 · 0 评论 -
[Binospace] HBase实战系列3—搭建ThriftServer实时监控系统
背景:在hbase应用中,如果使用C++来访问HBase,往往通过ThriftServer进行数据的读写,ThriftServer服务的状况直接影响了应用服务的体验。因此,在HBase ThriftServer之上的Metrics系统、以及实时监控系统,可以第一时间发现服务质量变化以及相关问题,同时,良好的监控系统,也有助于服务的完善。ThriftServer实时监控系统的挑战1)...原创 2014-03-03 11:53:29 · 320 阅读 · 0 评论