性能调优(2)

第二章:集群参数的配置
1. zookeeper.session.timeout(默认3分钟)
ZK的超期参数,默认配置为3分钟,在生产环境上建议减小这个值在1分钟或更小。
设置原则:这个值越小,当RS故障时Hmaster获知越快,Hlog分裂和region 部署越快,集群恢复时间越短。
但是,设置这个值得原则是留足够的时间进行GC回收,否则会导致频繁的RS当机。
2、hbase.regionserver.handler.count(默认10)
设置原则:
对于大负载的put(达到了M范围)或是大范围的Scan操作,handler数目不易过大,易造成OOM。
对于小负载的put或是get,delete等操作,handler数要适当调大。
根据上面的原则,要看我们的业务的情况来设置。

3、HBASE_HEAPSIZE 大小设置
设置原则:
a. HBASE_HEAPSIZE 包括三部分内容:Memstoresize 40%(默认) blockcache 20% 以及StoreIndex(这需要根据硬盘容量算出)。
b. GC回收的时间不要超过zk session的时间。

4.选择使用压缩算法,目前HBase默认支持的压缩算法包括GZ,LZO以及snappy(0.92版本已经支持,BSD license)
Algorithm % remaining Encoding Decoding
GZIP 13.4% 21 MB/s 118 MB/s
LZO 20.5% 135 MB/s 410 MB/s
Zippy/Snappy 22.2% 172 MB/s 409 MB/s
根据你产品的情况选取这里压缩算法或是使用其他压缩算法。

5.hbase.hregion.max.filesize 默认256M
关于Region Size的设置,参考另外一篇博客。
设置原则:
a、Region server 上活跃的region不能太多100个左右,且也不要太少会导致并发度不大。
b、在region设置比较大时,例如每个region达到100G时,需要手动进行对热点region进行split或是对于不经常活跃的进行merge

6.hbase.hregion.memstore.block.multiplier 默认2
设置原则:
如果内存足够的,可以适当设置大这个值,当memstoresize 大于 flush size limit*multiplier时会阻塞客户的put操作。如果出现这种情况多数原因是由于compaction队列不能够及时处理
导致的。

7.hbase.hstore.blockingStoreFiles 默认7
设置原则:
这个值设置比较大,会增加客户端的负载处理能力,但是如果你的服务器一直处于一个高的水平,那说明你的机器已经达到性能瓶颈,需要其他方式解决
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值