使用mapreduce 将hdfs中的数据导入到到hbase 中

最新推荐文章于 2022-05-10 14:42:41 发布

Ynzo

最新推荐文章于 2022-05-10 14:42:41 发布

阅读量952

点赞数

文章标签：使用mapreduce 将hdfs中的数据导入到到hbase

本文链接：https://blog.csdn.net/weixin_36836847/article/details/84946743

版权

本文详细介绍了如何利用MapReduce任务将存储在HDFS上的大量数据高效地导入到HBase数据库中，包括数据预处理、MapReduce作业配置及运行过程中的关键步骤和注意事项。

摘要由CSDN通过智能技术生成

package hbase;

import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;

public class BatchImport {
    static class BatchImportMapper extends Mapper<LongWritable, Text, LongWritable, Text>{
        SimpleDateFormat dateformat1=new SimpleDateFormat("yyyyMMddHHmmss");
        Text v2 = new Text();
        
        protected