hbase入库效率提升研究(二)

接着前一篇文章所说,在hbase入库效率上有较大作用的几个因素

 

一、writebuffersize大小的设置,太大和太小都会使速度下降。原因是太大每次提交数量大,提交频度下降;太小每次提交数量小,提交频度高。按照目前的测试结果来看64MB是一个理想值

 

二、硬盘配置,在底层的hadoop上不要对硬盘做raid,能够充分利用每块磁盘的使用效率

 

三、regionserver的flush大小,region最大size。这里flushsize尽量配大,4G,region最大size可以配很大,使得region尽量不去分裂

 

四、关闭wal,在测试的时候居然发现速度下降,具体原因还不清楚。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值