spark写HBase的hfile文件，再使用bulkload方式装载时split很慢问题

要想使用spark生成hfile，然后再使用bulkload方式向HBase装载数据，你需要：

        1、首先用spark向hdfs写hfile；

        2、然后使用java代码调起bulkload程序吧hfile装载到habse数据库中。

但是在整个过程中，有以下几个点是需要注意的：

        1、在hbase表有预分区的情况下，调用 bulkLoader.doBulkLoad(hFilePath, admin, table, regionLocator)的时候，如果一个hfile文件内的数据不是刚好装载入一个分区的话，那么bulkload程序会自动split该hfile，所以，如果spark写文件时产生了很多小文件，同时要装载的数据量又非常大的话，bulkload程序会不断地进行split，导致数据装载极其缓慢，我曾经遇到一次装载300G数据花了好几个小时也装不进去。

        2、spark的sortByKey算子是针对整个rdd全局排序，做不到partition内排序，正好repartitionAndSortWithinPartitions算子可以做到分区内部排序，其运算过程跟hadoop的MapReduce是一样的。

基于以上几点，我们最终的实现思路是：比如即将装载数据的hbase表5000个预分区，我们的spark程序运行就有5000个partition，每个partition内部数据是有序的，spark程序最终写成5000个hfile文件，最后调用bulkLoader.doBulkLoad(hFilePath, admin, table, regionLocator)将会瞬间装载完成

tips：

        1、repartitionAndSortWithinPartitions是需要自定义一个Partitioner的；

        2、bulkload可以使用java api去调用，也可以在hadoop机器上使用hbase自带的命令行装载，这个地方不是本文讨论的重点，就网友自行查找了。

具体的实现请参考以下代码片段，如果想查看整个程序，可以GitHub链接上 https://github.com/Issac-Young/data-hub.git

package com.issac.studio.app.sink;

import com.issac.studio.app.entity.domain.Sink;
import com.issac.studio.app.entity.domain.config.sink.HBaseSinkConfig;
import com.issac.studio.app.entity.dto.ExternalParam;
import com.issac.studio.app.exception.NullException;
import com.issac.studio.app.exception.TypeException;
import org.apache.commons.lang3.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HRegionInfo;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapred.TableOutputFormat;
import org.apache.hadoop.hbase.mapreduce.HFileOutputFormat2;
import org.apache.ha