MapReduce集成Hbase

最新推荐文章于 2023-04-16 03:45:52 发布
最新推荐文章于 2023-04-16 03:45:52 发布
阅读量158 收藏 1
点赞数
分类专栏： Hbase 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45798620/article/details/115245941
版权

MapReduce集成Hbase

MR集成Hbase：读Hbase规则

  • 目标

    • 掌握MapReduce中读取Hbase的开发规则

  • 分析

    • 读取由InputFormat决定
      • TextInputFormat：读取文件中的内容，每一行返回一个KV
        • K：行的偏移量：LongWritable
        • V：行的内容值：Text
    • TableInputFormat：负责实现读取Hbase的数据，将每个Rowkey的数据转换为一个KV对象
      • K：Rowkey的字节对象：ImmutableBytesWritable
      • V：Rowkey的数据内容：Result

  • 实现

    • step1：调用工具类方法，初始化Input和Map

      • MapReduce中封装了工具类，实现读取Hbase数据
      TableMapReduceUtil.initTableMapperJob

      public static void initTableMapperJob(
      String table, 
      Scan scan,
      Class<? extends TableMapper> mapper,
      Class<?> outputKeyClass,
      Class<?> outputValueClass, 
      Job job
);

    • step2：构建Map类继承TableMapper类

      /**
 * Extends the base <code>Mapper</code> class to add the required input key
 * and value classes.
 *
 * @param <KEYOUT>  The type of the key.
 * @param <VALUEOUT>  The type of the value.
 * @see org.apache.hadoop.mapreduce.Mapper
 */
@InterfaceAudience.Public
public abstract class TableMapper<KEYOUT, VALUEOUT>
extends Mapper<ImmutableBytesWritable, Result, KEYOUT, VALUEOUT> {

}

  • 总结

    • MapReduce读取Hbase数据的API已经封装好了，只需要调用工具类实现即可

MR集成Hbase：读Hbase实现

  • 目标

    • 实现从Hbase读取数据，将数据写入文件中

  • 分析

    • step1：使用TableInputFormat读取Hbase数据
    • step2：使用TextOutputFormat写入文件

  • 实现

    package bigdata.itcast.cn.hbase.mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;

/**
 * @ClassName ReadHbaseTable
 * @Description TODO 通过MapReduce读取Hbase表中的数据
 * @Create By     Frank
 */
public class ReadHbaseTable extends Configured implements Tool {

    public int run(String[] args) throws Exception {
        //todo:1-创建
        Job job =  Job.getInstance(this.getConf(),"read");
        job.setJarByClass(ReadHbaseTable.class);
        //todo:2-配置
        //input&map
//        job.setInputFormatClass(TextInputFormat.class);
//        TextInputFormat.setInputPaths(job,new Path(""));
//        job.setMapperClass(null);
//        job.setMapOutputKeyClass(null);
//        job.setMapOutputValueClass(null);
        //input&map
        /**
         * public static void initTableMapperJob(
         *       String table,                              指定从哪张表读取
         *       Scan scan,                                 读取Hbase数据使用的Scan对象，自定义过滤器
         *       Class<? extends TableMapper> mapper,       Mapper类
         *       Class<?> outputKeyClass,                   Map输出的Key类型
         *       Class<?> outputValueClass,                 Map输出的Value类型
         *       Job job                                    当前的job
         *  )
         */
        //构建TableInputFormat用于读取Hbase的scan对象
        Scan scan = new Scan();//为了方便让你使用过滤器，提前过滤数据，再传递到MapReduce中，所以让你自定义一个scan对象
        //可以为scan设置过滤器,将过滤后的数据加载到MapReduce程序中
        TableMapReduceUtil.initTableMapperJob(
                "itcast:t1",
                scan,
                ReadHbaseMap.class,
                Text.class,
                Text.class,
                job
        );
        //reduce
        job.setNumReduceTasks(0);
        //output
        TextOutputFormat.setOutputPath(job,new Path("datas/output/hbase"));
        //todo:3-提交
        return job.waitForCompletion(true) ? 0:-1;
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = HBaseConfiguration.create();
        //指定Hbase服务端地址
        conf.set("hbase.zookeeper.quorum", "node1:2181,node2:2181,node3:2181");
        int status = ToolRunner.run(conf, new ReadHbaseTable(), args);
        System.exit(status);
    }

    /**
     * TableMapper<KEYOUT, VALUEOUT>
     * extends Mapper<ImmutableBytesWritable, Result, KEYOUT, VALUEOUT>
     */
    public static class ReadHbaseMap extends TableMapper<Text, Text>{
        //rowkey
        Text outputKey = new Text();
        //每一列的数据
        Text outputValue = new Text();


        /**
         * 每个KV【一个Rowkey】调用一次map方法
         * @param key：rowkey
         * @param value：这个rowkey的数据
         * @param context
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
            //给key进行赋值
            String rowkey = Bytes.toString(key.get());
            this.outputKey.set(rowkey);
            //给value赋值
            for(Cell cell : value.rawCells()){
                //得到每一列的数据
                String family = Bytes.toString(CellUtil.cloneFamily(cell));
                String column = Bytes.toString(CellUtil.cloneQualifier(cell));
                String val  = Bytes.toString(CellUtil.cloneValue(cell));
                long ts = cell.getTimestamp();
                this.outputValue.set(family+"\t"+column+"\t"+val+"\t"+ts);
                //输出每一列的数据
                context.write(this.outputKey,this.outputValue);
            }
        }
    }
}

  • 总结

    • 最终也是调用了Hbase Java API
    • 通过Scan来读取表的数据，返回到MapReduce程序汇总

MR集成Hbase：写Hbase规则

  • 目标

    • 掌握MapReduce写入Hbase的开发规则

  • 分析

    • 输出由OutputFormat决定

      • TextOutputFormat：将KV输出写入文件中

    • TableOutputFormat：负责实现将上一步的KV数据写入Hbase表中

      /**
 * Convert Map/Reduce output and write it to an HBase table. The KEY is ignored
 * while the output value <u>must</u> be either a {@link Put} or a
 * {@link Delete} instance.
 */
@InterfaceAudience.Public
public class TableOutputFormat<KEY> extends OutputFormat<KEY, Mutation>
      • 要求输出的Value类型必须为Mutation类型：Put / Delete
      • Key是什么类型，不重要，在写入过程中，Key会被丢弃

  • 实现

    • step1：调用工具类初始化Reduce和Output

      • MapReduce中封装了工具类，实现读取Hbase数据
      TableMapReduceUtil.initTableReducerJob

      /**
   * Use this before submitting a TableReduce job. It will
   * appropriately set up the JobConf.
   *
   * @param table  The output table.
   * @param reducer  The reducer class to use.
   * @param job  The current job to adjust.
   * @throws IOException When determining the region count fails.
   */
  public static void initTableReducerJob(
      String table,
      Class<? extends TableReducer> reducer,  指定Reduce类，不用传递Key和Value类型，因为Key不重要，Value定死了
      Job job
  );

    • step2：构建Reduce类继承TableReducer

      /**
 * Extends the basic <code>Reducer</code> class to add the required key and
 * value input/output classes. 
 *
 * @param <KEYIN>  The type of the input key.
 * @param <VALUEIN>  The type of the input value.
 * @param <KEYOUT>  The type of the output key.
 * @see org.apache.hadoop.mapreduce.Reducer
 */
@InterfaceAudience.Public
public abstract class TableReducer<KEYIN, VALUEIN, KEYOUT>
	extends Reducer<KEYIN, VALUEIN, KEYOUT, Mutation> {
}

  • 总结

    • MapReduce写入Hbase数据的API已经封装好了，只需要调用工具类实现即可

MR集成Hbase：写Hbase实现

  • 目标

    • 实现从文件读取数据，将数据写入Hbase中

  • 分析

    • step1：使用TextInputFormat读取文件中的数据
    • step2：构建Put对象，封装Rowkey以及列
    • step3：使用TableOutputFormat将数据写入Hbase表中

  • 实现

    • Hbase中建表

      create 'itcast:mrwrite','info'

    • 实现

      package bigdata.itcast.cn.hbase.mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;

/**
 * @ClassName WriteHbaseTable
 * @Description TODO 通过MapReduce将数据写入Hbase
 * @Create By     Frank
 */
public class WriteHbaseTable extends Configured implements Tool {

    public int run(String[] args) throws Exception {
        //todo:1-创建
        Job job =  Job.getInstance(this.getConf(),"write");
        job.setJarByClass(WriteHbaseTable.class);
        //todo:2-配置
        //input
        TextInputFormat.setInputPaths(job,new Path("datas/hbase/writeHbase.txt"));
        //map
        job.setMapperClass(WriteToHbaseMap.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Put.class);
        //shuffle
        //reduce&output
        /**
         *  public static void initTableReducerJob(
         *     String table,                                将数据写入Hbase的哪张表
         *     Class<? extends TableReducer> reducer,       reducer的类
         *     Job job)                                     当前的job
         *
         *     以前输出的写法：
         *      job.setoutputKey：因为Key可以任意的，这里根本用不到
         *      job.setoutputValue：在TableReduce中将outputValue定死了，所以不用写
         *
         */
        TableMapReduceUtil.initTableReducerJob(
            "itcast:mrwrite",
            WriteToHbaseReduce.class,
            job
        );
        //output & reduce
//        job.setReducerClass(null);
//        job.setOutputKeyClass(null);
//        job.setOutputValueClass(null);
//        job.setOutputFormatClass(TextOutputFormat.class);
//        TextOutputFormat.setOutputPath(job,new Path(""));

        //todo:3-提交
        return job.waitForCompletion(true) ? 0:-1;
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "node1:2181,node2:2181,node3:2181");
        int status = ToolRunner.run(conf, new WriteHbaseTable(), args);
        System.exit(status);
    }

    /**
     * 读取文件，将文件中的内容，id作为key，其他的每一列作为一个Put对象
     */
    public static class WriteToHbaseMap extends Mapper<LongWritable,Text,Text, Put>{

        Text rowkey = new Text();

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //value：1	liudehua	18	male
            String[] split = value.toString().split("\t");
            String row = split[0];
            String name = split[1];
            String age = split[2];
            String sex = split[3];
            //将id作为rowkey，放在key中输出
            this.rowkey.set(row);
            //构造输出的Value
            Put putname = new Put(Bytes.toBytes(row));
            putname.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes(name));
            context.write(rowkey,putname);
            Put putage = new Put(Bytes.toBytes(row));
            putage.addColumn(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes(age));
            context.write(rowkey,putage);
            Put putsex = new Put(Bytes.toBytes(row));
            putsex.addColumn(Bytes.toBytes("info"),Bytes.toBytes("sex"),Bytes.toBytes(sex));
            context.write(rowkey,putsex);
        }
    }

    /**
     * public abstract class TableReducer<KEYIN, VALUEIN, KEYOUT>
     * extends Reducer<KEYIN, VALUEIN, KEYOUT, Mutation>
     *     最后Reduce输出的Value类型必须为Put类型，才能将数据写入Hbase
     */
    public static class WriteToHbaseReduce extends TableReducer<Text,Put,Text>{
        /**
         * 相同rowkey的所有Put都在一个迭代器中
         * @param key
         * @param values
         * @param context
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        protected void reduce(Text key, Iterable<Put> values, Context context) throws IOException, InterruptedException {
            //直接遍历每个put对象，输出即可
            for (Put value : values) {
                context.write(key,value);
            }
        }
    }

}

  • 总结

    • 最终还是调用了Hbase Java API来实现的
    • 通过构建Table对象，执行所有的Put对象实现将数据写入Hbase

附录一：Maven依赖

	<repositories>
        <repository>
            <id>aliyun</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        </repository>
    </repositories>
    <properties>
        <hadoop.version>2.7.3</hadoop.version>
        <hbase.version>2.1.2</hbase.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>${hbase.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-mapreduce</artifactId>
            <version>${hbase.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.6</version>
        </dependency>
    </dependencies>
镜子里的宇宙
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hbase:HBase MapReduce投影
05-02
HBase的 HBase MapReduce投影
hbase jar包.zip
11-23
spring 集成 Hbase所需jar包
HBase与MapReduce
翁老师的教学团队
05-13 1595
HBase API操作 MapReduce 通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件系统导入到HBase的表中， 比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。 》 1．查看HBase的MapReduce任务的执行使用哪些jar $ bin/hbase mapredcp 》 2．环境变量的导入 （1）执行环境变量的导入（临时生效，在命令行执行下述操作） $ export HBASE_H
HBase MapReduce 详解
@小刘同学nice
07-01 3477
通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件系统导入到HBase的表中，比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。 官方HBase-MapReduce 查看HBase的MapReduce任务的执行 $ bin/hbase mapredcp 环境变量的导入 执行环境变量的导入...
使用MapReduce处理HBase数据
大头皮鞋的博客
04-17 5373
前提条件 IDEA2021 安装好hadoop2.x 安装好hbase1.x 本博文使用的版本为hadoop2.7.3，hbase1.7.1 需求 MapReduce读取HBase的数据，使用MapReduce对读取到的数据进行词频统计处理，把计算结果输出到HBase中。 数据准备 启动hadoop和hbase start-dfs.sh start-hbase.sh 进入hbase shell命令行 创建输入表word 创建输入表word create 'word',
【HBase】20-HBase与MapReduce集成
通往神秘的道路的专栏
12-12 974
当用户使用 MapReduce作业从表中读取数据时,实质上是使用 TableInputFormat取得数据。它符合 MapReduce框架,并重载了公有方法 getSplits()和 createRecordreader()。 在一个作业被执行前,框架调用 netSplit(来决定如何划分块(chunk),从而由块数目决定映射任务的数目。 对于 HBase来说, TableInputFormat基...
HBase学习笔记（5）——MapReduce操作Hbase
一角残叶的博客
09-19 2977
1 实现方法 Hbase对MapReduce提供支持，它实现了TableMapper类和TableReducer类，我们只需要继承这两个类即可 1.1 写个mapper继承TableMapper&amp;lt;Text, IntWritable&amp;gt; 参数：Text：mapper的输出key类型； IntWritable：mapper的输出value类型。 map(ImmutableBytesWrit...
大数据开发之Hbase企业应用及与MapReduce集成实战教程（视频+讲义+笔记+配置+代码+练习）
04-17
│ Day16[Hbase 企业应用及与MapReduce集成].pdf ├─02_视频 │ Day1601_Hbase Java API-环境配置.mp4 │ Day1603_Hbase Java API-put、delete.mp4 │ Day1604_Hbase Java API-Scan和过滤器.mp4 │ Day1605_Hbase...
hadoop和hbase集成所需jar包
05-02
hadoop和hbase集成所需jar包。例如使用hbase进行MapReduce。 需要更多资源请关注我。
HBASE指南中文
01-17
本书探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单；把大型数据集分布到相对廉价的商业服务器...在HBase中集成MapReduce框架；了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。
HBase MapReduce完整实例
01-06
Eclipse工程 HBase MapReduce完整实例 可远程执行 包含HBase增删改查 执行Test可看到效果
hbase之MapReduce程序
枣泥馅的博客
04-16 1285
在写基于hbase的mapreduce时程序时候，与以前基于hbase的稍有不同 1、Mapper、Reducer与以前继承的类有点不同，现在继承TableMapper和TableReducer 2、在Mapper中是从hbase读取的表来处理的，在Reducer中最终也是要输出到hbase中 3、在Mapper中多出了一个类型就是行健的类型，以前是偏移值，在Reducer中也是多了一个hb...
HBase与MapReduce的集成
bitmao888的博客
05-22 252
文章目录需求一:读取myuser这张表当中的数据写入到HBase的另外一张表当中去第一步：创建myuser2这张表第二步：创建maven工程，导入jar包第三步：开发MR的程序第四步：打包运行需求二：读取HDFS文件，写入到HBase表当中去第一步：准备数据文件第二步：开发MR程序需求三：通过bulkload的方式批量加载数据到HBase第一步：定义我们的mapper类第二步：开发我们的main程序入口类第三步：将代码打成jar包然后进行运行第四步：开发代码，加载数据 HBase当中的数据最终都是存储在HD
HBase快速入门系列 （六）| HBase 与 Mapreduce的集成
weixin_45417821的博客
09-22 687
文章目录官方HBase-MapReduce自定义HBase-MapReduce1自定义Hbase-MapReduce2 官方HBase-MapReduce 1．查看 HBase 的 MapReduce 任务的执行 $ bin/hbase mapredcp 2．环境变量的导入 （1）在/etc/profile 配置 export HBASE_HOME=/opt/module/hbase export HADOOP_HOME=/opt/module/hadoop-2.7.2 并在 hadoop-env.s
五十三、通过MapReduce实现HBase操作
象在舞的技术专栏
03-24 2497
通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将HBase表中的数据拷贝到另外一张表。本文我们通过两个案例来进行实操一下，关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~ 目录 一、将HBase表数据复制到另外一张表 1.1需求说明 1.2编码实现 1.3测试 二、将HDFS的数据写入到HBase中 2.1需求说明 2.2编码实现 2.3测试 一、将HBase表数据复制到另外一张表 1.1需求说...
Mapreduce于HBase集成
风
09-20 332
Mapreduce于HBase集成 集成的模式 从hbase中读取数据,Hbase的数据作为map的输入,输出可以任意指定. 将数据写入Hbase,将hbase作为reduce的输出,输入可以任意指定. 从hbase中读 最终在写入到hbase中,场景： 数据迁移. 在hbase中已经封装好了jar包：hbase-server-0.98.6-cdh5.3.6.jar 1、环境的配置 将hbas...
mapreduce操作hbase
Allenzyg的博客
06-09 492
现在有一些大的文件，需要存入HBase中，其思想是先把文件传到HDFS上，利用map阶段读取对，可在reduce把这些键值对上传到HBase中。 Reduce类,主要是将键值传到HBase表中 由上面可知ReducerClass继承TableReduce，在hadoop里面ReducerClass继承Reducer类。它的原型为：TableReducer可以看出，HBase里面是读出的Key类型是ImmutableBytesWritab...
hbase基础(四)——MapReduce操作
weixin_63507910的博客
04-16 1816
本篇文章主要分享，编写简单的hbase与mapreduce集合的案例，即从hdfs中读取数据导入到hbase表里，读取hbase表中的指定数据，导入到另外一张表中。
使用MapReduce获取HBASE表中的多行数据，并进行处理
最新发布
04-23
您可以使用MapReduce对HBase表中的多行数据进行批量处理。具体做法是，在Map阶段读取数据，然后在Reduce阶段进行处理。...当然，您需要先安装和配置好Hadoop和HBase，以便将其与MapReduce框架集成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值