HBase Region划分策略总结

最新推荐文章于 2024-01-21 03:36:41 发布

heqianqiann

最新推荐文章于 2024-01-21 03:36:41 发布

阅读量4.3k

点赞数

分类专栏： HBase 文章标签： hbase

本文链接：https://blog.csdn.net/Thousa_Ho/article/details/78915249

版权

本文总结了HBase的Region切分策略，包括ConstantSizeRegionSplitPolicy、IncreasingToUpperBoundRegionSplitPolicy和SteppingSplitPolicy，分析了它们的适用场景和优缺点。此外，还介绍了寻找SplitPoint的方法和Region切分的核心流程。

摘要由CSDN通过智能技术生成

1.Region切分触发策略

在最新稳定版(1.2.6)中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的切分触发策略。常见的切分策略如下图

这里写图片描述

ConstantSizeRegionSplitPolicy：0.94版本前默认切分策略

这是最容易理解但也最容易产生误解的切分策略，从字面意思来看，当region大小大于某个阈值(hbase.hregion.max.filesize)之后就会触发切分，实际上并不是这样，真正实现中这个阈值是对于某个store来说的，即一个region中最大store的大小大于设置阈值之后才会触发切分。另外一个大家比较关心的问题是这里所说的store大小是压缩后的文件总大小还是未压缩文件总大小，实际实现中store大小为压缩后的文件大小(采用压缩的场景)。ConstantSizeRegionSplitPolicy相对来来说最容易想到，但是在生产线上这种切分策略却有相当大的弊端：切分策略对于大表和小表没有明显的区分。阈值(hbase.hregion.max.filesize)设置较大对大表比较友好，但是小表就有可能不会触发分裂，极端情况下可能就1个，这对业务来说并不是什么好事。如果设置较小则对小表友好，但一个大表就会在整个集群产生大量的region，这对于集群的管理、资源使用、failover来说都不是一件好事。