HFileInputFormat实现

最新推荐文章于 2023-05-15 09:34:31 发布

bluekeyv

最新推荐文章于 2023-05-15 09:34:31 发布

阅读量4.4k

点赞数

分类专栏： hbase 文章标签： path class scala null hbase import

本文链接：https://blog.csdn.net/kirayuan/article/details/7794402

版权

这篇博客介绍了如何利用HFileInputFormat读取HBase的底层存储HFile进行MapReduce操作。通过代码示例展示了如何配置和使用HFileInputFormat类。

摘要由CSDN通过智能技术生成

hbase的底层存储采用的是hfile文件格式，可以作为mr的输入，进行hfile的mr。代码如下：


import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.io.hfile.CacheConfig;
import org.apache.hadoop.hbase.io.hfile.HFile;
import org.apache.hadoop.hbase.io.hfile.HFileScanner;
import org.apache.hadoop.hbase.regionserver.metrics.SchemaMetrics;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.JobContext;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

/**
 * This is direct port (hopefully) of the Scala version of this class available
 * on htt