hbase-0.90.4的主要更新

apache邮件列表中提到0.90.4己经准备release了,看了一下所有的patch,这个版本在性能改进上基本没有改进,主要是对很多异常下bug的修复,其中比较重要的bug有以下几个:
1 [url]https://issues.apache.org/jira/browse/HBASE-3820[/url] ----Splitlog() executed while the namenode was in safemode may cause data-loss
在执行splitlog的时候,如果namenode因为未知原因进入safemode,可能导致数据丢失,需要先检查并等待safemode结束

2 [url]https://issues.apache.org/jira/browse/HBASE-3914[/url] ----ROOT region appeared in two regionserver's onlineRegions at the same time
root region有可能被分配给两台region server(条件:当root 所在的rs挂掉,master在assign的时候也正好挂掉)

3 [url]https://issues.apache.org/jira/browse/HBASE-3892[/url] ----Table can't disable
在split期间执行disable table有可能会导致无限期挂起,实际应用中这会比较危险。比如管理员在做ddl操作时可能会因为这个bug引起table不可用时间变得很长

4 [url]https://issues.apache.org/jira/browse/HBASE-3988[/url] ----Infinite loop for secondary master
seconde master无法自动接管primary master的bug

5 [url]https://issues.apache.org/jira/browse/HBASE-3969[/url] ----Outdated data can not be cleaned in time
当compaction队列过长时,有可能因为队列优先级问题导致一些major compaction任务长期无法执行。patch的提供者遇到过好几次超过2天还没有执行一个major compaction任务。因此做了优先级的调整

6 [url]https://issues.apache.org/jira/browse/HBASE-4028[/url] ----Hmaster crashes caused by splitting log.
Hmaster在splitlog时对内存的计算在多线程下统计不准确,从而最终导致无法控制内存而oom

7 [url]https://issues.apache.org/jira/browse/HBASE-3906[/url] ----When HMaster is running,there are a lot of RegionLoad instances(far greater than the regions),it has risk of OOME.
减少hmaster启动时候的无谓的内存消耗,patch提供者在实际应用中减少了3GB的内存。(值得注意的是这个patch的提供者是华为的兄弟)

其它还有很多修复的bug都是在比较特殊情况下产生的,通常是没有检查对象为空而引起的npe,比如4088等。由这点看出来分布式系统设计的难度还是很高的,一个完整的程序需要不断地fix bug...
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值