内存回收与hbase

1.3.1.1  内存回收导致的程序卡顿

     Todd Lipcon 描述了2种常见的导致hbase卡顿的“内存回收情况”,尤其在加载数据到hbase的情况下。这两种情况分别是:cms内存回收失败、老年代堆内存碎片严重。

     对于第一种情况,可以在启动cms的时候加入参数-XX:CMSInitiatingOccupancyFraction,将该参数调小为60~70,即当对老年代堆内存使用到60~70时进行cms内存回收,提升内存回收频率。 

   对于第二种情况,Todd提到一种措施,设置参数 hbase.hregion.memstore.mslab.enabled为true,为每一个memstore开辟一个单独的缓存空间。隐患:mslab(A memstore-local allocation buffer)的开启会导致每个store产生至少一个2MB的buffer。也就是说如果每台机器有2000个store,默认直接会占用至少4G的内存空间,当4G写满了将占用8G。因此对于store非常多的应用有可能会发生OOM,需要谨慎。

个人建议

1、hbase默认内存为1G,最好放大
        2、使用cms回收,

export SERVER_GC_OPTS="-XX:CMSInitiatingOccupancyFraction=80 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC"



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值