读取HDFS文件，写入到HBase表当中去

最新推荐文章于 2023-05-05 09:38:57 发布

a大数据yyds

最新推荐文章于 2023-05-05 09:38:57 发布

阅读量1.8k

点赞数 4

分类专栏： HBase 文章标签： hbase

本文链接：https://blog.csdn.net/qq_45765882/article/details/103705786

版权

本文介绍了如何将HDFS上的数据文件读取并利用MapReduce程序导入到HBase表中，详细步骤包括创建数据文件、上传到HDFS以及开发MR程序的Mapper部分。

摘要由CSDN通过智能技术生成

读取hdfs路径/hbase/input/user.txt内容如下
0007 zhangsan 18
0008 lisi 25
0009 wangwu 20
第一步：准备数据文件
准备数据文件，并将数据文件上传到HDFS上面去
hdfs dfs -mkdir -p /hbase/input
cd /export/servers/
vim user.txt
0007 zhangsan 18
0008 lisi 25
0009 wangwu 20
第二步：开发MR程序
1、Mapper


public class HdfsMapper extends Mapper<LongWritable, Text,Text, NullWritable> {
   
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   
        context.write(value,NullWritable.get());
    }
}

2、


public class HBaseReducer extends TableReducer<Text, NullWritable, ImmutableBytesWritable> {
   

    @Override
    protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
   

        String[] split = key.toString().split