hbase占用内存过高_HBase 优化

HBase 优化

JVM调优

内存调优

一般安装好的HBase集群，默认配置是给Master和RegionServer 1G的内存，而Memstore默认占0.4，也就是400MB。显然RegionServer给的1G真的太少了。

export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xms2g -Xmx2g"

export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -Xms8g -Xmx8g"

这里只是举例，并不是所有的集群都是这么配置。

==要牢记至少留10%的内存给操作系统来进行必要的操作==

如何给出一个合理的JVM 内存大小设置，举一个ambari官方提供的例子吧。

比如你现在有一台16GB的机器，上面有MapReduce服务、 RegionServer和DataNode(这三位一般都是装在一起的)，那么建议按 照如下配置设置内存：

2GB：留给系统进程。

8GB：MapReduce服务。平均每1GB分配6个Map slots + 2个Reduce slots。

4GB：HBase的RegionServer服务

1GB：TaskTracker

1GB：DataNode

如果同时运行MapReduce的话，RegionServer将是除了MapReduce以外使用内存最大的服务。如果没有MapReduce的话，RegionServer可以调整到大概一半的服务器内存。

Full GC调优

由于数据都是在RegionServer里面的，Master只是做一些管理操作，所以一般内存问题都出在RegionServer上。

JVM提供了4种GC回收器：

串行回收器(SerialGC)。

并行回收器(ParallelGC)，主要针对年轻带进行优化(JDK 8 默认策略)。

并发回收器(ConcMarkSweepGC，简称CMS)，主要针对年老带进 行优化。

G1GC回收器，主要针对大内存(32GB以上才叫大内存)进行优化。

一般会采取两种组合方案

ParallelGC和CMS的组合方案

export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -Xms8g -Xmx8g -XX:+UseParNewGC -XX:+UseConMarkSweepGC"

G1GC方案

export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -Xms8g -Xmx8g -XX:+UseG1GC -XX:MaxGCPauseMillis=100"

怎么选择呢？

一般内存很大(32~64G)的时候，才会去考虑用G1GC方案。

如果你的内存小于4G，乖乖选择第一种方案吧。

如果你的内存(4~32G)之间，你需要自行测试下两种方案，孰强孰弱靠实践。测试的时候记得加上命令

-XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintAdaptiveSizePolicy

MSLAB和In Memory Compaction(HBase2.X才有)

HBase自己实现了一套以Memstore为最小单元的内存管理机制，称为 MSLAB(Memstore-Local Allocation Buffers)

跟MSLAB相关的参数是：

hbase.hregion.memstore.mslab.enabled：设置为true，即打开 MSLAB，默认为true。

hbase.hregion.memstore.mslab.chunksize：每个chunk的大 小，默认为2048 * 1024 即2MB。

hbase.hregion.memstore.mslab.max.allocation：能放入chunk 的最大单元格大小，默认为256KB，已经很大了。

hbase.hregion.memstore.chunkpool.maxsize：在整个memstore 可以占用的堆内存中，chunkPool占用的比例。该值为一个百分 比，取值范围为0.0~1.0。默认值为0.0。 hbase.hregion.memstore.chunkpool.initialsize：在 RegionServer启动的时候可以预分配一些空的chunk出来放到 chunkPool里面待使用。该值就代表了预分配的chunk占总的 chunkPool的比例。该值为一个百分比，取值范围为0.0~1.0，默认值为0.0。

在HBase2.0版本中，为了实现更高的写入吞吐和更低的延迟，社区团队对MemStore做了更细粒度的设计。这里，主要指的就是In Memory Compaction