HBase 写优化之 BulkLoad 实现数据快速入库

最新推荐文章于 2024-07-19 22:28:09 发布
最新推荐文章于 2024-07-19 22:28:09 发布
阅读量772 收藏
点赞数
分类专栏： hadoop hbase 文章标签： hadoop hbase


1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？

我们先看下 HBase 的写流程：

通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式，在reduce中直接生成put对象写入HBase，该方式在大数据量写入时效率低下（HBase会block写入，频繁进行flush，split，compact等大量IO操作），并对HBase节点的稳定性造成一定的影响（GC时间过长，响应变慢，导致节点超时退出，并引起一系列连锁反应），而HBase支持 bulk load 的入库方式，它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的HFile数据格式文件，然后上传至合适位置，即完成巨量数据快速入库的办法。配合mapreduce完成，高效便捷，而且不占用region资源，增添负载，在大数据量写入时能极大的提高写入效率，并降低对HBase节点的写入压力。
通过使用先生成HFile，然后再BulkLoad到Hbase的方式来替代之前直接调用HTableOutputFormat的方法有如下的好处：
（1）消除了对HBase集群的插入压力
（2）提高了Job的运行速度，降低了Job的执行时间
目前此种方式仅仅适用于只有一个列族的情况，在新版 HBase 中，单列族的限制会消除。

2、bulkload 流程与实践

bulkload 方式需要两个Job配合完成： 
（1）第一个Job还是运行原来业务处理逻辑，处理的结果不直接调用HTableOutputFormat写入到HBase，而是先写入到HDFS上的一个中间目录下（如 middata） 
（2）第二个Job以第一个Job的输出（middata）做为输入，然后将其格式化HBase的底层存储文件HFile 
（3）调用BulkLoad将第二个Job生成的HFile导入到对应的HBase表中

下面给出相应的范例代码：

001import java.io.IOException;
002 
003import org.apache.hadoop.conf.Configuration;
004import org.apache.hadoop.fs.Path;
005import org.apache.hadoop.hbase.HBaseConfiguration;
006import org.apache.hadoop.hbase.KeyValue;
007import org.apache.hadoop.hbase.client.HTable;
008import org.apache.hadoop.hbase.client.Put;
009import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
010import org.apache.hadoop.hbase.mapreduce.HFileOutputFormat;
011import org.apache.hadoop.hbase.mapreduce.KeyValueSortReducer;
012import org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles;
013import org.apache.hadoop.hbase.util.Bytes;
014import org.apache.hadoop.io.IntWritable;
015import org.apache.hadoop.io.LongWritable;
016import org.apache.hadoop.io.Text;
017import org.apache.hadoop.mapreduce.Job;
018import org.apache.hadoop.mapreduce.Mapper;
019import org.apache.hadoop.mapreduce.Reducer;
020import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
021import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
022import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
023import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
024import org.apache.hadoop.util.GenericOptionsParser;
025 
026public class GeneratePutHFileAndBulkLoadToHBase {
027 
028    public static class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>
029    {
030 
031        private Text wordText=new Text();
032        private IntWritable one=new IntWritable(1);
033        @Override
034        protected void map(LongWritable key, Text value, Context context)
035                throws IOException, InterruptedException {
036            // TODO Auto-generated method stub
037            String line=value.toString();
038            String[] wordArray=line.split(" ");
039            for(String word:wordArray)
040            {
041                wordText.set(word);
042                context.write(wordText, one);
043            }
044             
045        }
046    }
047     
048    public static class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>
049    {
050 
051        private IntWritable result=new IntWritable();
052        protected void reduce(Text key, Iterable<IntWritable> valueList,
053                Context context)
054                throws IOException, InterruptedException {
055            // TODO Auto-generated method stub
056            int sum=0;
057            for(IntWritable value:valueList)
058            {
059                sum+=value.get();
060            }
061            result.set(sum);
062            context.write(key, result);
063        }
064         
065    }
066     
067    public static class ConvertWordCountOutToHFileMapper extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put>
068    {
069 
070        @Override
071        protected void map(LongWritable key, Text value, Context context)
072                throws IOException, InterruptedException {
073            // TODO Auto-generated method stub
074            String wordCountStr=value.toString();
075            String[] wordCountArray=wordCountStr.split("\t");
076            String word=wordCountArray[0];
077            int count=Integer.valueOf(wordCountArray[1]);
078             
079            //创建HBase中的RowKey
080            byte[] rowKey=Bytes.toBytes(word);
081            ImmutableBytesWritable rowKeyWritable=new ImmutableBytesWritable(rowKey);
082            byte[] family=Bytes.toBytes("cf");
083            byte[] qualifier=Bytes.toBytes("count");
084            byte[] hbaseValue=Bytes.toBytes(count);
085            // Put 用于列簇下的多列提交，若只有一个列，则可以使用 KeyValue 格式
086            // KeyValue keyValue = new KeyValue(rowKey, family, qualifier, hbaseValue);
087            Put put=new Put(rowKey);
088            put.add(family, qualifier, hbaseValue);
089            context.write(rowKeyWritable, put);
090             
091        }
092         
093    }
094     
095    public static void main(String[] args) throws Exception {
096        // TODO Auto-generated method stub
097        Configuration hadoopConfiguration=new Configuration();
098        String[] dfsArgs = new GenericOptionsParser(hadoopConfiguration, args).getRemainingArgs();
099         
100        //第一个Job就是普通MR，输出到指定的目录
101        Job job=new Job(hadoopConfiguration, "wordCountJob");
102        job.setJarByClass(GeneratePutHFileAndBulkLoadToHBase.class);
103        job.setMapperClass(WordCountMapper.class);
104        job.setReducerClass(WordCountReducer.class);
105        job.setOutputKeyClass(Text.class);
106        job.setOutputValueClass(IntWritable.class);
107        FileInputFormat.setInputPaths(job, new Path(dfsArgs[0]));
108        FileOutputFormat.setOutputPath(job, new Path(dfsArgs[1]));
109        //提交第一个Job
110        int wordCountJobResult=job.waitForCompletion(true)?0:1;
111         
112        //第二个Job以第一个Job的输出做为输入，只需要编写Mapper类，在Mapper类中对一个job的输出进行分析，并转换为HBase需要的KeyValue的方式。
113        Job convertWordCountJobOutputToHFileJob=new Job(hadoopConfiguration, "wordCount_bulkload");
114         
115        convertWordCountJobOutputToHFileJob.setJarByClass(GeneratePutHFileAndBulkLoadToHBase.class);
116        convertWordCountJobOutputToHFileJob.setMapperClass(ConvertWordCountOutToHFileMapper.class);
117        //ReducerClass 无需指定，框架会自行根据 MapOutputValueClass 来决定是使用 KeyValueSortReducer 还是 PutSortReducer
118        //convertWordCountJobOutputToHFileJob.setReducerClass(KeyValueSortReducer.class);
119        convertWordCountJobOutputToHFileJob.setMapOutputKeyClass(ImmutableBytesWritable.class);
120        convertWordCountJobOutputToHFileJob.setMapOutputValueClass(Put.class);
121         
122        //以第一个Job的输出做为第二个Job的输入
123        FileInputFormat.addInputPath(convertWordCountJobOutputToHFileJob, new Path(dfsArgs[1]));
124        FileOutputFormat.setOutputPath(convertWordCountJobOutputToHFileJob, new Path(dfsArgs[2]));
125        //创建HBase的配置对象
126        Configuration hbaseConfiguration=HBaseConfiguration.create();
127        //创建目标表对象
128        HTable wordCountTable =new HTable(hbaseConfiguration, "word_count");
129        HFileOutputFormat.configureIncrementalLoad(convertWordCountJobOutputToHFileJob,wordCountTable);
130        
131        //提交第二个job
132        int convertWordCountJobOutputToHFileJobResult=convertWordCountJobOutputToHFileJob.waitForCompletion(true)?0:1;
133         
134        //当第二个job结束之后，调用BulkLoad方式来将MR结果批量入库
135        LoadIncrementalHFiles loader = new LoadIncrementalHFiles(hbaseConfiguration);
136        //第一个参数为第二个Job的输出目录即保存HFile的目录，第二个参数为目标表
137        loader.doBulkLoad(new Path(dfsArgs[2]), wordCountTable);
138         
139        //最后调用System.exit进行退出
140        System.exit(convertWordCountJobOutputToHFileJobResult);
141         
142    }
143 
144}

比如原始的输入数据的目录为：/rawdata/test/wordcount/20131212 

中间结果数据保存的目录为：/middata/test/wordcount/20131212 
最终生成的HFile保存的目录为：/resultdata/test/wordcount/20131212 
运行上面的Job的方式如下： 
hadoop jar test.jar /rawdata/test/wordcount/20131212 /middata/test/wordcount/20131212 /resultdata/test/wordcount/20131212 

3、说明与注意事项：

（1）HFile方式在所有的加载方案里面是最快的，不过有个前提——数据是第一次导入，表是空的。如果表中已经有了数据。HFile再导入到hbase的表中会触发split操作。

（2）最终输出结果，无论是map还是reduce，输出部分key和value的类型必须是： < ImmutableBytesWritable, KeyValue>或者< ImmutableBytesWritable, Put>。
否则报这样的错误：

1java.lang.IllegalArgumentException: Can't read partitions file
2...
3Caused by: java.io.IOException: wrong key class: org.apache.hadoop.io.*** is not class org.apache.hadoop.hbase.io.ImmutableBytesWritable
（3）最终输出部分，Value类型是KeyValue 或Put，对应的Sorter分别是KeyValueSortReducer或PutSortReducer，这个 SorterReducer 可以不指定，因为源码中已经做了判断：
1if (KeyValue.class.equals(job.getMapOutputValueClass())) {
2    job.setReducerClass(KeyValueSortReducer.class);
3} else if (Put.class.equals(job.getMapOutputValueClass())) {
4    job.setReducerClass(PutSortReducer.class);
5} else {
6    LOG.warn("Unknown map output value type:" + job.getMapOutputValueClass());
7}
（4） MR例子中job.setOutputFormatClass(HFileOutputFormat.class); HFileOutputFormat只适合一次对单列族组织成HFile文件，多列簇需要起多个 job，不过新版本的 Hbase 已经解决了这个限制。 

（5） MR例子中最后生成HFile存储在HDFS上，输出路径下的子目录是各个列族。如果对HFile进行入库HBase，相当于move HFile到HBase的Region中，HFile子目录的列族内容没有了。

（6）最后一个 Reduce 没有 setNumReduceTasks 是因为，该设置由框架根据region个数自动配置的。

（7）下边配置部分，注释掉的其实写不写都无所谓，因为看源码就知道configureIncrementalLoad方法已经把固定的配置全配置完了，不固定的部分才需要手动配置。

01public class HFileOutput {
02        //job 配置
03    public static Job configureJob(Configuration conf) throws IOException {
04        Job job = new Job(configuration, "countUnite1");
05        job.setJarByClass(HFileOutput.class);
06                //job.setNumReduceTasks(2); 
07        //job.setOutputKeyClass(ImmutableBytesWritable.class);
08        //job.setOutputValueClass(KeyValue.class);
09        //job.setOutputFormatClass(HFileOutputFormat.class);
10  
11        Scan scan = new Scan();
12        scan.setCaching(10);
13        scan.addFamily(INPUT_FAMILY);
14        TableMapReduceUtil.initTableMapperJob(inputTable, scan,
15                HFileOutputMapper.class, ImmutableBytesWritable.class, LongWritable.class, job);
16        //这里如果不定义reducer部分，会自动识别定义成KeyValueSortReducer.class 和PutSortReducer.class
17                job.setReducerClass(HFileOutputRedcuer.class);
18        //job.setOutputFormatClass(HFileOutputFormat.class);
19        HFileOutputFormat.configureIncrementalLoad(job, new HTable(
20                configuration, outputTable));
21        HFileOutputFormat.setOutputPath(job, new Path());
22                //FileOutputFormat.setOutputPath(job, new Path()); //等同上句
23        return job;
24    }
25  
26    public static class HFileOutputMapper extends
27            TableMapper<ImmutableBytesWritable, LongWritable> {
28        public void map(ImmutableBytesWritable key, Result values,
29                Context context) throws IOException, InterruptedException {
30            //mapper逻辑部分
31            context.write(new ImmutableBytesWritable(Bytes()), LongWritable());
32        }
33    }
34  
35    public static class HFileOutputRedcuer extends
36            Reducer<ImmutableBytesWritable, LongWritable, ImmutableBytesWritable, KeyValue> {
37        public void reduce(ImmutableBytesWritable key, Iterable<LongWritable> values,
38                Context context) throws IOException, InterruptedException {
39                        //reducer逻辑部分
40            KeyValue kv = new KeyValue(row, OUTPUT_FAMILY, tmp[1].getBytes(),
41                    Bytes.toBytes(count));
42            context.write(key, kv);
43        }
44    }
45}

4、Refer：

1、Hbase几种数据入库（load）方式比较

http://blog.csdn.net/kirayuan/article/details/6371635

2、MapReduce生成HFile入库到HBase及源码分析

http://blog.pureisle.net/archives/1950.html

3、MapReduce生成HFile入库到HBase

http://shitouer.cn/2013/02/hbase-hfile-bulk-load/

1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？

我们先看下 HBase 的写流程：

通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式，在reduce中直接生成put对象写入HBase，该方式在大数据量写入时效率低下（HBase会block写入，频繁进行flush，split，compact等大量IO操作），并对HBase节点的稳定性造成一定的影响（GC时间过长，响应变慢，导致节点超时退出，并引起一系列连锁反应），而HBase支持 bulk load 的入库方式，它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的HFile数据格式文件，然后上传至合适位置，即完成巨量数据快速入库的办法。配合mapreduce完成，高效便捷，而且不占用region资源，增添负载，在大数据量写入时能极大的提高写入效率，并降低对HBase节点的写入压力。
通过使用先生成HFile，然后再BulkLoad到Hbase的方式来替代之前直接调用HTableOutputFormat的方法有如下的好处：
（1）消除了对HBase集群的插入压力
（2）提高了Job的运行速度，降低了Job的执行时间
目前此种方式仅仅适用于只有一个列族的情况，在新版 HBase 中，单列族的限制会消除。

2、bulkload 流程与实践

bulkload 方式需要两个Job配合完成： 
（1）第一个Job还是运行原来业务处理逻辑，处理的结果不直接调用HTableOutputFormat写入到HBase，而是先写入到HDFS上的一个中间目录下（如 middata） 
（2）第二个Job以第一个Job的输出（middata）做为输入，然后将其格式化HBase的底层存储文件HFile 
（3）调用BulkLoad将第二个Job生成的HFile导入到对应的HBase表中

下面给出相应的范例代码：

001import java.io.IOException;
002 
003import org.apache.hadoop.conf.Configuration;
004import org.apache.hadoop.fs.Path;
005import org.apache.hadoop.hbase.HBaseConfiguration;
006import org.apache.hadoop.hbase.KeyValue;
007import org.apache.hadoop.hbase.client.HTable;
008import org.apache.hadoop.hbase.client.Put;
009import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
010import org.apache.hadoop.hbase.mapreduce.HFileOutputFormat;
011import org.apache.hadoop.hbase.mapreduce.KeyValueSortReducer;
012import org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles;
013import org.apache.hadoop.hbase.util.Bytes;
014import org.apache.hadoop.io.IntWritable;
015import org.apache.hadoop.io.LongWritable;
016import org.apache.hadoop.io.Text;
017import org.apache.hadoop.mapreduce.Job;
018import org.apache.hadoop.mapreduce.Mapper;
019import org.apache.hadoop.mapreduce.Reducer;
020import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
021import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
022import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
023import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
024import org.apache.hadoop.util.GenericOptionsParser;
025 
026public class GeneratePutHFileAndBulkLoadToHBase {
027 
028    public static class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>
029    {
030 
031        private Text wordText=new Text();
032        private IntWritable one=new IntWritable(1);
033        @Override
034        protected void map(LongWritable key, Text value, Context context)
035                throws IOException, InterruptedException {
036            // TODO Auto-generated method stub
037            String line=value.toString();
038            String[] wordArray=line.split(" ");
039            for(String word:wordArray)
040            {
041                wordText.set(word);
042                context.write(wordText, one);
043            }
044             
045        }
046    }
047     
048    public static class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>
049    {
050 
051        private IntWritable result=new IntWritable();
052        protected void reduce(Text key, Iterable<IntWritable> valueList,
053                Context context)
054                throws IOException, InterruptedException {
055            // TODO Auto-generated method stub
056            int sum=0;
057            for(IntWritable value:valueList)
058            {
059                sum+=value.get();
060            }
061            result.set(sum);
062            context.write(key, result);
063        }
064         
065    }
066     
067    public static class ConvertWordCountOutToHFileMapper extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put>
068    {
069 
070        @Override
071        protected void map(LongWritable key, Text value, Context context)
072                throws IOException, InterruptedException {
073            // TODO Auto-generated method stub
074            String wordCountStr=value.toString();
075            String[] wordCountArray=wordCountStr.split("\t");
076            String word=wordCountArray[0];
077            int count=Integer.valueOf(wordCountArray[1]);
078             
079            //创建HBase中的RowKey
080            byte[] rowKey=Bytes.toBytes(word);
081            ImmutableBytesWritable rowKeyWritable=new ImmutableBytesWritable(rowKey);
082            byte[] family=Bytes.toBytes("cf");
083            byte[] qualifier=Bytes.toBytes("count");
084            byte[] hbaseValue=Bytes.toBytes(count);
085            // Put 用于列簇下的多列提交，若只有一个列，则可以使用 KeyValue 格式
086            // KeyValue keyValue = new KeyValue(rowKey, family, qualifier, hbaseValue);
087            Put put=new Put(rowKey);
088            put.add(family, qualifier, hbaseValue);
089            context.write(rowKeyWritable, put);
090             
091        }
092         
093    }
094     
095    public static void main(String[] args) throws Exception {
096        // TODO Auto-generated method stub
097        Configuration hadoopConfiguration=new Configuration();
098        String[] dfsArgs = new GenericOptionsParser(hadoopConfiguration, args).getRemainingArgs();
099         
100        //第一个Job就是普通MR，输出到指定的目录
101        Job job=new Job(hadoopConfiguration, "wordCountJob");
102        job.setJarByClass(GeneratePutHFileAndBulkLoadToHBase.class);
103        job.setMapperClass(WordCountMapper.class);
104        job.setReducerClass(WordCountReducer.class);
105        job.setOutputKeyClass(Text.class);
106        job.setOutputValueClass(IntWritable.class);
107        FileInputFormat.setInputPaths(job, new Path(dfsArgs[0]));
108        FileOutputFormat.setOutputPath(job, new Path(dfsArgs[1]));
109        //提交第一个Job
110        int wordCountJobResult=job.waitForCompletion(true)?0:1;
111         
112        //第二个Job以第一个Job的输出做为输入，只需要编写Mapper类，在Mapper类中对一个job的输出进行分析，并转换为HBase需要的KeyValue的方式。
113        Job convertWordCountJobOutputToHFileJob=new Job(hadoopConfiguration, "wordCount_bulkload");
114         
115        convertWordCountJobOutputToHFileJob.setJarByClass(GeneratePutHFileAndBulkLoadToHBase.class);
116        convertWordCountJobOutputToHFileJob.setMapperClass(ConvertWordCountOutToHFileMapper.class);
117        //ReducerClass 无需指定，框架会自行根据 MapOutputValueClass 来决定是使用 KeyValueSortReducer 还是 PutSortReducer
118        //convertWordCountJobOutputToHFileJob.setReducerClass(KeyValueSortReducer.class);
119        convertWordCountJobOutputToHFileJob.setMapOutputKeyClass(ImmutableBytesWritable.class);
120        convertWordCountJobOutputToHFileJob.setMapOutputValueClass(Put.class);
121         
122        //以第一个Job的输出做为第二个Job的输入
123        FileInputFormat.addInputPath(convertWordCountJobOutputToHFileJob, new Path(dfsArgs[1]));
124        FileOutputFormat.setOutputPath(convertWordCountJobOutputToHFileJob, new Path(dfsArgs[2]));
125        //创建HBase的配置对象
126        Configuration hbaseConfiguration=HBaseConfiguration.create();
127        //创建目标表对象
128        HTable wordCountTable =new HTable(hbaseConfiguration, "word_count");
129        HFileOutputFormat.configureIncrementalLoad(convertWordCountJobOutputToHFileJob,wordCountTable);
130        
131        //提交第二个job
132        int convertWordCountJobOutputToHFileJobResult=convertWordCountJobOutputToHFileJob.waitForCompletion(true)?0:1;
133         
134        //当第二个job结束之后，调用BulkLoad方式来将MR结果批量入库
135        LoadIncrementalHFiles loader = new LoadIncrementalHFiles(hbaseConfiguration);
136        //第一个参数为第二个Job的输出目录即保存HFile的目录，第二个参数为目标表
137        loader.doBulkLoad(new Path(dfsArgs[2]), wordCountTable);
138         
139        //最后调用System.exit进行退出
140        System.exit(convertWordCountJobOutputToHFileJobResult);
141         
142    }
143 
144}

比如原始的输入数据的目录为：/rawdata/test/wordcount/20131212 

中间结果数据保存的目录为：/middata/test/wordcount/20131212 
最终生成的HFile保存的目录为：/resultdata/test/wordcount/20131212 
运行上面的Job的方式如下： 
hadoop jar test.jar /rawdata/test/wordcount/20131212 /middata/test/wordcount/20131212 /resultdata/test/wordcount/20131212 

3、说明与注意事项：

（1）HFile方式在所有的加载方案里面是最快的，不过有个前提——数据是第一次导入，表是空的。如果表中已经有了数据。HFile再导入到hbase的表中会触发split操作。

（2）最终输出结果，无论是map还是reduce，输出部分key和value的类型必须是： < ImmutableBytesWritable, KeyValue>或者< ImmutableBytesWritable, Put>。
否则报这样的错误：

1java.lang.IllegalArgumentException: Can't read partitions file
2...
3Caused by: java.io.IOException: wrong key class: org.apache.hadoop.io.*** is not class org.apache.hadoop.hbase.io.ImmutableBytesWritable
（3）最终输出部分，Value类型是KeyValue 或Put，对应的Sorter分别是KeyValueSortReducer或PutSortReducer，这个 SorterReducer 可以不指定，因为源码中已经做了判断：
1if (KeyValue.class.equals(job.getMapOutputValueClass())) {
2    job.setReducerClass(KeyValueSortReducer.class);
3} else if (Put.class.equals(job.getMapOutputValueClass())) {
4    job.setReducerClass(PutSortReducer.class);
5} else {
6    LOG.warn("Unknown map output value type:" + job.getMapOutputValueClass());
7}
（4） MR例子中job.setOutputFormatClass(HFileOutputFormat.class); HFileOutputFormat只适合一次对单列族组织成HFile文件，多列簇需要起多个 job，不过新版本的 Hbase 已经解决了这个限制。 

（5） MR例子中最后生成HFile存储在HDFS上，输出路径下的子目录是各个列族。如果对HFile进行入库HBase，相当于move HFile到HBase的Region中，HFile子目录的列族内容没有了。

（6）最后一个 Reduce 没有 setNumReduceTasks 是因为，该设置由框架根据region个数自动配置的。

（7）下边配置部分，注释掉的其实写不写都无所谓，因为看源码就知道configureIncrementalLoad方法已经把固定的配置全配置完了，不固定的部分才需要手动配置。

01public class HFileOutput {
02        //job 配置
03    public static Job configureJob(Configuration conf) throws IOException {
04        Job job = new Job(configuration, "countUnite1");
05        job.setJarByClass(HFileOutput.class);
06                //job.setNumReduceTasks(2); 
07        //job.setOutputKeyClass(ImmutableBytesWritable.class);
08        //job.setOutputValueClass(KeyValue.class);
09        //job.setOutputFormatClass(HFileOutputFormat.class);
10  
11        Scan scan = new Scan();
12        scan.setCaching(10);
13        scan.addFamily(INPUT_FAMILY);
14        TableMapReduceUtil.initTableMapperJob(inputTable, scan,
15                HFileOutputMapper.class, ImmutableBytesWritable.class, LongWritable.class, job);
16        //这里如果不定义reducer部分，会自动识别定义成KeyValueSortReducer.class 和PutSortReducer.class
17                job.setReducerClass(HFileOutputRedcuer.class);
18        //job.setOutputFormatClass(HFileOutputFormat.class);
19        HFileOutputFormat.configureIncrementalLoad(job, new HTable(
20                configuration, outputTable));
21        HFileOutputFormat.setOutputPath(job, new Path());
22                //FileOutputFormat.setOutputPath(job, new Path()); //等同上句
23        return job;
24    }
25  
26    public static class HFileOutputMapper extends
27            TableMapper<ImmutableBytesWritable, LongWritable> {
28        public void map(ImmutableBytesWritable key, Result values,
29                Context context) throws IOException, InterruptedException {
30            //mapper逻辑部分
31            context.write(new ImmutableBytesWritable(Bytes()), LongWritable());
32        }
33    }
34  
35    public static class HFileOutputRedcuer extends
36            Reducer<ImmutableBytesWritable, LongWritable, ImmutableBytesWritable, KeyValue> {
37        public void reduce(ImmutableBytesWritable key, Iterable<LongWritable> values,
38                Context context) throws IOException, InterruptedException {
39                        //reducer逻辑部分
40            KeyValue kv = new KeyValue(row, OUTPUT_FAMILY, tmp[1].getBytes(),
41                    Bytes.toBytes(count));
42            context.write(key, kv);
43        }
44    }
45}

4、Refer：

1、Hbase几种数据入库（load）方式比较

http://blog.csdn.net/kirayuan/article/details/6371635

2、MapReduce生成HFile入库到HBase及源码分析

http://blog.pureisle.net/archives/1950.html

3、MapReduce生成HFile入库到HBase

http://shitouer.cn/2013/02/hbase-hfile-bulk-load/

天边tbdp
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase数据写入方式 与 BulkLoad
ThreeAspects的博客
08-07 1413
cookie和session都是用来跟踪浏览器用户身份的会话方式。SessionCookieSession与Cookie区别 Session   session机制是一种服务器端的机制，服务器使用一种类似于散列表的结构（也可能就是使用散列表）来保存信息。当程序需要为某个客户端的请求创建一个session时，服务器首先检查这个客户端的请求里是否已包含了一个session标识（称为session id...
hbase bulk load 小实践及一些总结
关注大数据~
11-30 6964
很早就知道bulk load这个东西，也大致都清楚怎么回事，居然直到前几天才第一次实践...  这篇文章大致分为三个部分： 1. 使用hbase自带的importtsv工具 2. 自己实现写mr生成hfile并加载 3. bulk load本身及对依赖的第三方包的一些总结 第一部分： 导入的文件是data.txt，符合tsv格式，如下： 做一些准备工作： a. 在hdfs上
HBase导入数据之必会的BulkLoad
HoppingMad的博客
01-01 937
文章目录前言一、Bulk Load简介二、数据准备2、在HBase上创建表3、数据导入生产HFile四、bulkload到hbase表中总结 前言 通常MapReduce在写HBase时使用的是TableOutputFormat方式，在Reduce中生产PUT对象写入HBase，该方式在大数据量写入时效率十分低下（HBase会block写入，频繁进行flush，split，compact等大量IO操作），并对HBase节点的稳定性造成影响。 一、Bulk Load简介 HBase支持Bulk Load的入
HBase 历史数据导入 时间戳设置问题
subian1261的博客
04-26 1516
【问题描述】 有一批历史数据需要导入HBase，在写HBase时 时间戳默认是系统当前时间，由于需要根据时间戳查询数据，所以需要将时间戳设置为数据产生时间，而不是当前时间。 【解决方案】 1、数据插入 addColumn时，添加一列long类型的时间戳即可 2、数据查询 注意：这里的时间范围左闭右开 ...
spark写HBase的hfile文件，再使用bulkload方式装载时split很慢问题
Asher_k的博客
07-02 1756
要想使用spark生成hfile，然后再使用bulkload方式向HBase装载数据，你需要： 首先用spark向hdfs写hfile； 然后使用java代码调起bulkload程序吧hfile装载到habse数据库中。 但是在整个过程中，有以下几个点是需要注意的： ...
MR程序Bulkload数据到hbase
03-12
标题中的“MR程序Bulkload数据到hbase”指的是使用MapReduce（MR）程序批量加载（Bulkload）数据到HBase数据库的过程。MapReduce是Apache Hadoop框架中的一个关键组件，用于处理和生成大规模数据集。而HBase是一个...
读写HBase数据.pdf
12-09
Spark作为一个快速、通用的大数据处理引擎，可以高效地读取和写入HBase这种分布式NoSQL数据库。下面将详细介绍如何使用Spark及pyspark进行HBase数据的读写，以及HBase的安装配置。 首先，要进行HBase的安装与配置。...
HBase最佳实践－写性能优化策略
01-27
上一篇文章主要介绍了HBase读性能优化的基本套路，本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当...
HBase写性能优化策略
04-18
HBase写性能优化策略HBase写性能优化策略HBase写性能优化策略
【原创】HBase的分裂（Split）与紧缩（Compaction）
weixin_42162155的博客
02-28 4733
Hbase的紧缩与分裂 Hbase的紧缩与分裂过程是对数据管理中必不可少的功能，正是因为它们的存在为Hbase拥有高效读写性能及集群的负载均衡提供了保证，接下来对这两个过程作一下详细的介绍。 Region概述 Hbase的紧缩与分裂的发生都在在Region中进行的，了解过Hbase的伙伴应该不会陌生，这里再对Region的结构功能作一个简单介绍。Region是 HBase中分布式存储和负载均衡的最...
HBase Bulk Loading的两种方法
qq_36822400的博客
03-15 483
关于HBase bulk loading原理的详细解析及完整案例可参考HBase Bulk Loading: What, Why and How 通过MapReduce进行bulk loading存在效率低下的问题, 如果数据预处理无法在一个Job中完成, 还需要分解为多个Job. 本文介绍使用Spark进行HBase bulk loading的两种方法. 基于Spark的bulk loading...
Hive数据导入hbase使用BulkLoad方式（spark和mapperReduce两种实现）
m0_37592814的博客
05-05 2169
一、前言 在一些场景中需要把hive中的数据导入到hbase中做永久存储。hive与hbase数据交互一般有两种方式：1.hive和hbase建立起关联 2.把hive中的数据处理成hfile文件，然后通过bulkload导入到hbase。相比第一种方式，第二种方式效率更高，原因简单来说是HBase的数据是以HFile的形式存储在HDFS的，hive数据转为hfile文件后，可以通过b...
HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat解决方法
fuhtead的博客
08-13 3721
用Spark SQL写入hive-hbase 表报错 java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat at org.apache.spark....
CH02_XAML
IT技术类博客
07-19 1543
XAML
大数据技术--实验03-HBase的安装与使用【实测可行】
u013571432的博客
07-19 1191
在HBase的官网http://mirrors.cnnic.cn/apache/hbase/ 下载HBase，其文件为：hbase-1.0.1.1 -bin.tar.gz。在master机器进行配置即可，然后可以通过把配置文件拷贝的方式，下载到slave1和slave2，这样可以减少工作量。虚拟机配置好后，配置Hbase参考下表的服务分配来配置HBase。修改hbase-env.sh文件，添加JDK的配置。用户，保持用户权限的一致性，避免出现不必要的错误）。情况］―――――――――――――――。
基于Springboot和Vue的数码论坛系统设计与实现-源码 数码论坛系统设计与实现代码（高分毕设）
最新发布
07-24
数码论坛系统设计与实现-源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
java程序设计—JAVA局域网飞鸽传书软件设计与实现(源代码+论文)43.rar
07-24
java程序设计，可供正在学习的同学研究参考。
年终总结汇报PPT模板(20)三套材料.pptx
07-24
年终总结汇报PPT模板(20)三套材料.pptx
HBase BulkLoad批量写入数据
03-29
HBase的BulkLoad（批量加载）是一种高效的方式，可以将大量数据快速地导入到HBase表中。相比于逐条写入数据，BulkLoad可以减少网络传输、HBase服务端处理和数据文件写入的开销，从而提高数据导入的速度。 BulkLoad...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值