【基本概念】
HBase是以表的形式存储数据的。一张表被划分为多个regions,regions分布在多个Region Server上,单个region只能分布在一个Region Server节点上,不能跨Region Server存放。
Region的两个重要属性:StartKey和EndKey,分别表示这个region所维护的rowkey范围。当做读/写请求时,寻址到该数据的rowkey落在某个start-end key范围内,那么就会定位到该范围内的region所在的Region Server上进行数据读/写。
【问题引入】
当表被创建时,HBase默认只会为该表分配一个region,那么,初始状态时所有的请求都会集中在一个Region Server上,当大量数据写入时,该节点将成为热点,甚至产生full gc。
当然,region热点不仅体现在创建表阶段。对于一张拥有很多region的大表来说,其在Region Sever上的分布往往不会十分均匀,region较多的Region Server在有大量数据写入时,它的负载也会大于其他region数少的Region Server,这也是热点。
因此,针对上述两种情况,该如何避免热点发生就是一个常见的话题。
【解决办法】
如果知道了HBase数据表的key分布情况,可以根据需要,规划要拆分成多少个region,每个region的起始key是多少,那么就可以在建表时对HBase进行region的预分区,这样就能避免热点,提高数据写入效率。
合理设计rowkey能让各个region的并发请求平均分配,使IO效率达到最高。比如,key的前几位字符串都是从0001~0010的数字