mysql 批量导入hbase_数据快速批量快速导入HBASE方法

10T的数据如何快速导入到HBASE呢？本文介绍一种高效快速的导入方法

处理思路：

1、如果要求快速就必须是利用分布式集群的并行运算能力

2、将数据放入HDFS中，实现一次写入多出读

3、通过MR并行处理并生产HFILE文件

4、导入HFILE文件进入数据库

编写一个Map程序生产HFile格式的文件

protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

ImmutableBytesWritable rowkey = new ImmutableBytesWritable(

value.toString().split(",")[0].getBytes());

List list = null;

list = createKeyValue(value.toString());

Iterator it = list.iterator();

while (it.hasNext()) {

KeyValue kv = new KeyValue();

kv = it.next();

if (kv != null) {

context.write(rowkey, kv);

}

以下是导入数据到hbase

job.setJarByClass(ImportToHBase.class);

//设置Map任务输出Key-Value类型,一定要为该类型,Value可以改为HBase的Put类型

job.setOutputKeyClass(ImmutableBytesWritable.class);

job.setOutputValueClass(KeyValue.class);

//设置Mapper与Reducer类

job.setMapperClass(HFileGenerateMapper.class);

job.setReducerClass(KeyValueSortReducer.class);

job.setOutputFormatClass(HFileOutputFormat2.class);

FileSystem fs = FileSystem.get(URI.create("/"),conf);

Path outPath = new Path(PATH_OUT);

if (fs.exists(outPath))fs.delete(outPath, true);

FileInputFormat.setInputPaths(job, new Path(PATH_IN));

FileOutputFormat.setOutputPath(job, outPath);

HTable table = new HTable(conf, TABLENAME);

HFileOutputFormat2.configureIncrementalLoad(job, table);

if(job.waitForCompletion(true)){

LoadIncrementalHFiles loader = new LoadIncrementalHFiles(conf);

loader.doBulkLoad(outPath, table);

}

其实编码的过程很简单，但是必须面对思考的问题：

1、程序中没有定义Reduce，为什么不定义Reduce,或者Reduce起什么作用？

我们知道，Hbase里面的Rowkey是排序的，如果没有Reduce的话数据进入Hbase时候可能出现rowkey是非排序写入的，导致数据写入失败

2、导入过程是Reduce输出的过程，如果提升速度呢？

1、预定义分区，默认每个分区对应一个Reduce

2、预定义分区，以减少大量数据导入过程导致的Hbase中Region不停的Split