hbase中的row key是啥_Hive 数据 bulkload 导入 HBase

Hive 数据 bulkload 导入 HBase 原理

主要工作就是将Hive的数据格式转化为HBase中的数据格式。bulkload导入 HBase 绕过写memstore，直接写HFile,不影响线上业务，并且做到实时生效。

Hive 数据 bulkload 导入 HBase 步骤

生成HFile

其实质就是一个mapreduce任务。 map 阶段 ： 将Hive表中的数据转化为HBase中的KeyValue结构。 reduce 阶段： 由于HFile要求写入的数据是按照(rowkey,family,column,ts)有序排列，所有这一步主要利用TreeSet对map阶段生成的keyvalue进行排序。

BulkLoad

其实就是一个HDFS上的mv操作，将生成的HFile mv到HBASE表的相应分区内，及时生效，导入过程不影响线上数据读写操作。 主要是调用Hbase的LoadIncrementalHFiles类。

Hive 数据 bulkload 导入 HBase 注意事项

数据格式

一般在生成keyvalue的时候把Hive中的数据都变为了String类型。

HFile的 KeyValue必须有序

因为HFile的 KeyValue 必须有序，所以要求Hive源数据中对于同一Rowkey下同一列族同一列的值不可以重复。

生成HFile的MR任务的reduce个数确定

HFileOutputFormat.configureIncrementalLoad(job, table);

默认我们可以通过此方法来确定生成HFile的MR任务的reduce个数，这个方法会读取Hbase表的splitkey来确定生成HFile的MR任务的reduce个