MapReduce 操作 HBase、解决依赖缺失的问题

最新推荐文章于 2023-03-03 14:20:52 发布

赤兔胭脂小吕布

最新推荐文章于 2023-03-03 14:20:52 发布

阅读量192

点赞数

文章标签： hbase mapreduce hadoop 大数据 hdfs

本文链接：https://blog.csdn.net/m0_52602967/article/details/126144484

版权

本文介绍了如何使用MapReduce读取和处理HBase数据，详细讲解了MapReduce与HBase交互的流程，包括TableInputFormat和TableOutputFormat的作用。在实践中，由于Hadoop默认缺少HBase相关依赖，导致任务执行失败。文章提供了两种解决方案：从HBase中寻找并配置依赖，或者在打包jar文件时包含所需依赖。

摘要由CSDN通过智能技术生成

MapReduce on HBase

MapReduce on HBase

流程图☆

不能直接穿到底层去读取 HFile ，因为有一部分数据在 MemStore 中，所以要去和 RegionServer 建立连接，获取数据一个 region 会生成一个切片，即对应一个 Map 任务，本质上是通过 Scan 获取数据
TableInputFormat -- region数据在进入Map的时候的数据格式化类
TableOutputFormat -- 数据由Reduce写入HBase时的数据格式化类

MapReduce 读取 HBase 代码示例

package com.shujia;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apac