Hbase常用参数

hbase.client.write.buffer          写入是BUFFER大小,默认2M,一般2-5M左右,插入时先插入缓存即表示完成,明显速度比不使用缓存要快
hbase.master.handler.count    Master RPC数量
hbase.regionserver.global.memstore.upperLimit,  默认0.4表示memstore最多使用JAVA HEAP的40%
hbase.hregion.memstore.flush.size                        默认128M,当memstore 使用达到128M,就刷新为Hfile,并关闭次memstore
hbase.hstore.compactionThreshold                       默认3, 一个region下有3个HFILE就会合并
hbase.hstore.blockingWaitTime                               默认90秒,如果超过这个时间合并还没有完成,重启启用更新插入
hfile.block.cache.size                                               读缓存,默认java heap的40% 
IncreasingToUpperBoundRegionSplitPolicy      split policy, 默认值, 如果要关闭自动SPLIT,建议使用第三种策略,然后增大HFILE最大大小,这样自动SPLIT基本就关闭了
KeyPrefixRegionSplitPolicy
<a href="http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/regionserver/ConstantSizeRegionSplitPolicy.html" rel="external nofollow noreferrer" font-size:14px;white-space:normal;background-color:#ffffff;"="" style="word-wrap: break-word; text-decoration-line: none; color: rgb(77, 166, 255); outline: none medium;">ConstantSizeRegionSplitPolicy


以上这些参数通常都要根据业务情况进行微调,不需要太大调整,要完整的说怎么使用,不太可能,业务不同,规则不同。 

比如BLOCK CACHE,读缓存,按照数据库的规则来说,譬如MySQL, ORACLE,我们希望这个值的命中率为99%, 但是对HBASE来说99%基本不可能,有些大的表可能就偶尔做一次SCAN,数据进入内存之后,把其他经常需要缓存的数据刷出去了,这种情况,建议关闭这种表的BLOCK CACHE, 那如果有些表经常要读,可能我们希望会设置IN MEMORY。 

再比如memstore为128M,是否这个值能否修改为256? 或者64 ? 我觉得是看刷新频率,如果你几秒钟就128M了,我觉得是否这个值应该加大,另外minor合并默认为3,是否小了? 修改为5,或者8或者更大是否合适呢?  

了解整个参数的意义,配合实际情况,再做调整比较合适,最好要测试,否者你没有办法证明你的调整是对的。


hbase org.apache.hadoop.hbase.util.hbck.OfflineMetaRepair

hbase hbck -repair

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tom_fans

谢谢打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值