一个region server的region个数问题

一个Region Server的region个数少点比较好,一般从20到几百个。0.90.x中upper-bound of regionsize是4GB,0.92.x中因为HFile v2,可以支持到更大,如20GB。一个Region Server保持较小的Region Server原因如下:

 

1MSLAB每个memstore需要2mb。如果有2 families1000 regions则需要3.9GB of heap

 

2、如果在region上写入的量差不多,region server整体的内存使用会导致tiny flush,然后会产生compactions。数据会被重写多次。

 

例如有1000regions,每个有一个family,内存总量为5GB。当内存使用到5GB时,大概会有5MB数据被flush

 

3master对于大量的regions比较过敏,会花费很多时间分配和移动regions。因为对zk的大量使用。

       4、在旧版本的HBase里面,大量的regions可能导致store file索引加大内存的使用量。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值