【hbase使用规范】region个数规范

错误示范

每个regionserver管理过千regions,会引起如下问题:

  • regionserver内存不足,频繁GC
  • 合并风暴,拖慢性能
  • 客户端超时,因为合并可能会涉及集群中网络的IO风暴
  • 批量加载超时,因为RegionServer太忙了无法反应,可能会报出RegionTooBusyException异常

正确示范

每个regionserver管理regions建议控制在20-200个,region大小建议配置在10-20G。

官网faq:https://hbase.apache.org/book.html#faq

region个数:170.2. Determining region count and size

region大小:170.2.4. Maximum region size

不要以为限制的过小,假如以10个regionserver为例,则能存储数据量为:

10*200*20G=40000G

HDFS如果是3副本,则实际所需磁盘还要扩大3倍。

(另外,该值只是稳定运行的建议值,大于该建议值也可以运行,只是稳定性会下降,风险会增加,使用过程中做好权衡即可)

原因分析

  • Region最大值设置过小
  • 预分区不合理
  • 小表过多(即使空表也会占用一个region)
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值