java写入hbase 缓冲区_HBase:优化内存以进行频繁的扫描和写入

我正在尝试优化我的HBase集群,以进行非常频繁的并发写入和扫描 . 我已经看过很多关于这个主题的帖子,但鉴于最新版本的HBase,JAVA以及当前的内存可用性状态,其中很多都显得过时了 .

假设每个Region Server可以说128GB或更多的内存,以下变量的推荐参数是什么 .

我正在使用HBase v 1.4x和JAVA 8 .

到目前为止,我已经在_1833186中尝试了以下内容:

export HBASE_HEAPSIZE=(tried up to 64G)

export HBASE_OFFHEAPSIZE=(tried up to 32G)

export HBASE_OPTS="-XX:+UseConcMarkSweepGC -Xms2048G -Xmx2048g" (depending on the HEAPSIZE setting above)

export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -Xms2G -Xmx2g" (again, depending on the HEAPSIZE setting above)

到目前为止,我已经注意到将堆大小增加到像64GB这样大的东西可以提高大扫描和频繁扫描的扫描性能,但会恶化响应时间的变化,特别是对于Writes .

我试图最大化响应速度和内存使用,同时避免GC延迟 . 用例是批量式加载/数据处理(即给定时间段的突发类型活动) .

谢谢!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值