mapreduce HDFS 写入hbase 表中

最新推荐文章于 2023-05-05 09:38:57 发布

小小聪

最新推荐文章于 2023-05-05 09:38:57 发布

阅读量223

点赞数

分类专栏： MapReduce hbase

本文链接：https://blog.csdn.net/servletwjx/article/details/88897619

版权

本文介绍如何使用MapReduce从HDFS读取数据，经过处理后将结果存储到HBase数据库中，详细阐述了MapReduce任务的配置和HBase的写入操作。

摘要由CSDN通过智能技术生成

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

import java.io.IOException;

public class HDFS2HBASE {

    private static class HdfsToHbaseMapper extends Mapper<LongWritable, Text, Text, Put> {
        private String family = "cf";
        private String[] qualifier = {"id&#