hbase中region拆分而父region未删除，导致spark读取hbase时重复读取数据，统计结果变多

使用spark的newAPIHadoopRDD方法读取hbase数据的时候，在hbase有父region未删除的情况下会导致数据重复读取。查看spark的executor日志可以发现未删除的父region会定位到其中的某一个女儿region中。从而导致数据重复读取。日志表现为input split信息中有重复的region name。因此我们需要自定义表读取类来避免重复读取。

我们只需要自定义类继承TableInputFormat，然后重写getSplits方法，删除重复的region即可。

示例代码：

public class SelfTableInputFormat extends TableInputFormat {

    static final Logger logger = LogManager.getLogger(SelfTableInputFormat.class);

    @Override
    public List<InputSplit> getSplits(JobContext context) throws IOException {
        logger.info("--------------SelfTableInputFormat-------------------");
        List<InputSplit> result = super.getSplits(context);

        if (result.isEmpty()) {
            return result;
        }
        Configuration conf = context.getConfiguration();
        // 混乱排序了，需要通过startkey跟endkey来判断使用范围最小的那个
        // 暂时不做，
        if ((conf.get(SHUFFLE_MAPS) != null) && "true".equals(conf.get(SHUFFLE_MAPS).toLowerCase(Locale.ROOT))) {
            return removeSameSplitForShuffle(result);
        }

        return removeSameSplitForOrder(result);
    }

    /**
     * InputSplit是按照从小到大排序的
     * @param result
     * @return
     */
    private List<InputSplit> removeSameSplitForOrder(List<InputSplit> result) {
        int count = result.size();
        // 去除重复的InputSplit，而且女region替代父region
        InputSplit tmp;
        TableSplit tableSplit;
        Map<Integer, InputSplit> noRepeat = new TreeMap<>();
        Map<String, Integer> regionNameMap = new HashMap<>();
        for (int i = 0, j = result.size(); i < j; i++) {
            tmp = result.get(i);
            if (tmp instanceof TableSplit) {
                tableSplit = (TableSplit) tmp;
                String regionName = tableSplit.getEncodedRegionName();
                logger.info("tableSplit region encodedRegionName:" + regionName);
                Integer ori = null;
                if (regionNameMap.containsKey(regionName)) {
                    ori = regionNameMap.get(regionName);
                } else {
                    regionNameMap.put(regionName, i);
                }
                if (ori != null) {
                    noRepeat.put(ori, tmp);
                } else {
                    noRepeat.put(i, tmp);
                }
            }
        }
        if (noRepeat.size() == result.size()) {
            return result;
        }
        result = new ArrayList<>();
        for (Entry<Integer, InputSplit> entry : noRepeat.entrySet()) {
            result.add(entry.getValue());
        }
        logger.info("remove zero region count:" + (count - result.size()));
        return result;
    }
    
    /**
     * InputSplit是打乱的无须的
     * @param result
     * @return
     */
    private List<InputSplit> removeSameSplitForShuffle(List<InputSplit> result){
        return result;
    } 
}