Hbase性能优化之配置

减少zk超时时间（建议1分钟）

Rs与zk的timeout默认为3分钟，由zookeeper.session.timeout property决定。也就是说，如果一个rs挂了，那么master需要3分钟之后才能对其进行重启和恢复。建议调成1分钟会更低。

然而，你调低之前应该先确保JVM的配置合理，保证不会引发较长的gc，JVM配置之后会给出，也可以只这样，只要你超时时间可以忍受gc停顿即可。

 

增加handlers（建议100）

配置项 hbase.regionserver.handler.count 决定了用户表接受外来请求的线程数。默认为10。这个数目主要看你的场景。如果是put百万字节或者大量的scan你可以把它调低来减少对region的压力。如果是小的puts gets 则增加该值来挺高并发量。从而增加整体的吞吐。

Handler数量最好小于clinet并发量。一个典型场景就是多gets（可能是个网站，然后从hbase获取数据）。

调高之后的风险就是，一旦很多的并发写压到了一个rs上面，那么内存会陡增，可能引发OOM。另外，rs的内存不足会引发较长的gc停顿。

 

增加heap（稍好的8G，差点的自己定吧）

对于hbase当然是越大约好，因为他就是吃内存的东西。稍微好点的机器可以给8G，master相比rs不需要更多的内存，但是rs一定需要。

 

开启Lzo压缩

 

增加region的大小（100G，几乎永不分裂）

 选项hbase.hregion.max.filesize默认为256M，如果region大小超过他则会分裂为二，如果你的数据量增长的比较快，那么还是建议把这个大小调高，可以调成100G，因为越少的region你的集群越流畅，100G的阈值基本可以避免你的region增长过快，甚至你的region数目会长期不变。当然大region在compaction时也会更加缓慢。几十G的region启动和compaction都非常的慢，如果storefile较多，一个compaction可能会持续几天。

 

block cache size（读写平衡0.3）

选项perf.hfile.block.cache.size 默认是0.2。调优这个参数需要你自己的观察，可以参照HBase权威指南的394页。

其实常见场景还是读业务比较多的时候可以把它调高。这样可以缓存更多的数据。读写平衡可以设置为0.3。

需要注意的是，block.cache.size memstore limits 这些内存加起来不要超过60%。因为剩余的内存还要用来做其他事情。否则容易OOM。

 

memstore limits（写多则调高，读多则调低）

这里主要由两个配置项决定：hbase.regionserver.global.memstore.upper 默认0.4和hbase.region.server.global.memstore.lowerLimit默认0.35。后者主要是当服务器需要释放内存时强制rs进行flush（不一定达到flush size）。尽量保证上面两个值接近，这样可以避免频繁的flush。

如果你的读业务比较多，那么调低他们。如果写多，则调高他们。（注意读写的参数相加最好不要超过0.6）。如果你发现flush很频繁，那么调高上面两个配置，这样减少频繁的I/O。

 

调高blocking store files（10）

选项hbase.hstore.blockingStoreFiles默认为7，如果超过其设定阈值，则会阻塞client的写。它主要是为了给compaction更多的时间来减少store files的数量。如果你是持续写入，那么稍微调高一点，比如10。你可以观察rs的storefile的数量，如果数量一直比较高，那么就不要把这个阈值调高了。因为持续很多的sf会让机器一直compaction，造成的一种情况就是compaction和flush的速度不匹配，然后持续的堆积compaction的任务，rs和dn的连接数会越来越大，直到too many open files。

 

调高block multiplier（稳定数据写入不必调正，数据量比较大或者偶尔出现峰值则调高）

选项hbase.hregion.memstore.block.multiplier默认为2。它是一种安全机制，如果memstores超过了flushsize的multiplier倍则会阻塞客户端的写。

如果你有足够多的内存，那么你可以把它调高，这样的好处就是可以很好的处理峰值的情况。比如一天可能只有一个时间段内写量很大，那么调高之后就可以避免阻塞写操作了。

 

减少maximum logfiles（导入数据直接关闭WAL即可，写多则调高，一般情况下小一点比较好）

选项hbase.regionserver.maxlogs默认为32。它只要是控制WAL文件flush的频率。如果写操作比较多，那么可以设置高一点。调低可以让rs更快的把数据持久化，那么就可以直接弃掉WAL了。其实写操作比较多可以直接把WAL关闭，这样更省事了。