hbase 高频插入实践

最新推荐文章于 2021-12-13 16:11:16 发布

baiyangfu

最新推荐文章于 2021-12-13 16:11:16 发布

阅读量3.5k

点赞数

分类专栏： hbase

本文链接：https://blog.csdn.net/baiyangfu_love/article/details/39347067

版权

本文记录了在面临HBase高频插入需求时的一些实践要点，包括预分区表的创建、RowKey设计、批量插入优化及使用bulkload导入历史数据等策略，旨在提高写入效率并避免热点问题。

摘要由CSDN通过智能技术生成

最近遇到hbase高频插入的需求，有些注意的点简单记录一下：

1、建表

建表的时候尽量预分区，避免region集中在少数几个regionserver，避免region hotspot

如何建立预分区的表？

1、shell

      1、   hbase> create 't1', 'f1', SPLITS => ['10', '20', '30']
      2、   hbase> create 't1', 'f1', SPLITS_FILE => 'splits.txt', OWNER => 'johndoe'
          # Optionally pre-split the table into NUMREGIONS, using
          # SPLITALGO ("HexStringSplit", "UniformSplit" or classname)
      3、   hbase> create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}
      4、   hbase> create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit', CONFIGURATION => {'hbase.hregion.scan.loadColumnFamiliesOnDemand' => 'true'}}

ok，一个一个分析：

1、第一个命令新建一个表 t1，列族 f1，预分4个region，region的 startkey 和 endkey 分别为 < , 10>， <10, 20>， <20， 30>，<30，>

2、第二个命令需要一个预分的文件splits.txt，这个文件的每一行代表一个endkey，比如说splits.txt的内容为：

创建的表的region与第一个命令相同

3、指定region数，生成的region startkey 和 endkey 是按照字典顺序生成，数字在前，