MR写HBase

于 2022-04-15 16:03:30 发布
阅读量181 收藏
点赞数
分类专栏： 初学大数据 HBase基础 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZZJXP/article/details/124194078
版权 
hbase(main):001:0> split 'stu','1501000100'
0 row(s) in 0.2230 seconds

hbase(main):002:0> split 'stu','1501000200'
0 row(s) in 0.0330 seconds

hbase(main):003:0> split 'stu','1501000300'
0 row(s) in 0.0280 seconds
package com.shujia;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Mutation;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

//从HBase的stu表中读取数据，统计每个班级的性别人数，最后将数据写回HBase
public class Demo06MRReadAndWriteHBase {
    //Map端
    public static class ReadHBase extends TableMapper<Text, IntWritable>{
        @Override
        protected void map(ImmutableBytesWritable key, Result value, Mapper<ImmutableBytesWritable, Result, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            String clazz = Bytes.toString(value.getValue("info".getBytes(), "clazz".getBytes()));
            String gender = Bytes.toString(value.getValue("info".getBytes(), "gender".getBytes()));

            context.write(new Text(clazz+","+gender),new IntWritable(1));
        }
    }

    //Reduce端
    public static class WriteHBase extends TableReducer<Text,IntWritable, NullWritable>{
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, NullWritable, Mutation>.Context context) throws IOException, InterruptedException {
            int cnt=0;
            for (IntWritable value : values) {
                cnt+=value.get();
            }

            Put put = new Put(key.getBytes());
            put.addColumn("cf1".getBytes(),"cnt".getBytes(),(cnt+"").getBytes());

            context.write(NullWritable.get(),put);
        }
    }
    
    //Driver端
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "master:2181,node1:2181,node2:2181");

        Job job = Job.getInstance(conf);

        //对Map任务进行配置
        TableMapReduceUtil.initTableMapperJob(
                TableName.valueOf("stu")
                , new Scan()
                , ReadHBase.class
                , Text.class
                , IntWritable.class
                , job
        );

        //对Reduce任务进行配置
        TableMapReduceUtil.initTableReducerJob(
                "stu_gender_cnt"
                , WriteHBase.class
                , job
        );

        job.waitForCompletion(true);
    }
    /**
     * create 'stu_gender_cnt','cf1'
     * hadoop jar HBase-1.0-SNAPSHOT-jar-with-dependencies.jar com.shujia.Demo06MRReadAndWriteHBase
     */
}

hbase(main):004:0> create 'stu_gender_cnt','cf1'
0 row(s) in 2.3540 seconds

=> Hbase::Table - stu_gender_cnt
[root@master jars]# hadoop jar HBase-1.0-SNAPSHOT-jar-with-dependencies.jar com.shujia.Demo06MRReadAndWriteHBase

hbase(main):005:0> scan 'stu_gender_cnt'
ROW               COLUMN+CELL                                   
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xB8 =41                                           
 \x80\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xB8 =31                                           
 \x80\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xB8 =44                                           
 \x89\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xB8 =50                                           
 \x89\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xBA =38                                           
 \x8C\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xBA =49                                           
 \x8C\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xBA =41                                           
 \x94\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xBA =43                                           
 \x94\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE5\x85 =49                                           
 \xAD\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE5\x85 =55                                           
 \xAD\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE5\x9B =42                                           
 \x9B\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE6\x96\x87\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE5\x9B =39                                           
 \x9B\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xB8 =47                                           
 \x80\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xB8 =31                                           
 \x80\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xB8 =33                                           
 \x89\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xB8 =35                                           
 \x89\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xBA =43                                           
 \x8C\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xBA =36                                           
 \x8C\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xBA =37                                           
 \x94\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE4\xBA =33                                           
 \x94\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE5\x85 =37                                           
 \xAD\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE5\x85 =55                                           
 \xAD\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE5\x9B =41                                           
 \x9B\xE7\x8F\xAD                                               
 ,\xE5\xA5\xB3                                                  
 \xE7\x90\x86\xE7 column=cf1:cnt, timestamp=1650009479540, value
 \xA7\x91\xE5\x9B =50                                           
 \x9B\xE7\x8F\xAD                                               
 ,\xE7\x94\xB7                                                  
24 row(s) in 0.0920 seconds

 

小胖超凶哦！
关注
专栏目录
MR之wc数据写入Hbase
QQ331948781的专栏
12-19 600
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration;
将mr写到Hbase上
weixin_34194087的博客
11-02 75
新建maven项目导入依赖 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 ht...
MR--HBase
llLucky_BOY_的博客
04-28 137
1.配置环境变量 sudo vim /etc/profile 在其中添加： export HADOOP_CLASSPATH=`$HBASE_HOME/bin/hbase mapredcp` 2.刷新环境变量文件 source /etc/profile 3.尝试运行官方案例 官方案例在lib文件夹中 yarn jar hbase-server-1.3.1.jar rowcounter fiudd 统计有多少行数据 4.尝试运行官方案例2 首先将数据上传到hdfs上 在hbase上建立一个表 creat
MR读取HBase
ZZJXP的博客
04-15 1044
[root@master ~]# hive Logging initialized using configuration in jar:file:/usr/local/soft/hive-1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties hive> create external table students_hbase( > id string, > name string, &gt.
Hbase MR入门
那又怎样？的博客
11-21 478
转载来自：http://www.aboutyun.com/thread-8671-1-1.html 问题导读 1.hbase作为数据读取源和输出源样例模板-包含那些过程？ 2.通过下例你认为hdfs读入hbase有几种方式？ 3.从hbase中的表作为数据源读取，hdfs作为数据输出，你认为的思路是什么？ 1、先看一个标准的hbase作
MR程序Bulkload数据到hbase
03-12
博客配套文件，详细演示了如何通过MR程序的方式bulkload数据到hbase，代码可直接用于生产环境。
hbase:habse自定义MR
05-16
hbase从HBase表中导入数据到Hbase表中将fruit表中的一部分数据，通过MR迁入到fruit_mr表中从HDFS中导入数据到Hbase表中根据HDFS中的数据导入到fruit_hdfs表中
hbase-2.4.17-bin 安装包
最新发布
08-28
hbase-2.4.17-bin 安装包
HBase开启审计日志
05-29
HBase开启审计日志
mapreduce方式入库hbase hive hdfs
03-24
mapreduce方式入库hbase hive hdfs，速度很快，里面详细讲述了代码的编写过程，值得下载
mr读取写入hbase配置
First_____的博客
06-30 159
配置永久生效: 先确定配置hbase和hadoop 的环境变量 export HBASE_HOME=/opt/module/hbase export HADOOP_HOME=/opt/module/hadoop-3.1.3 配置mr使用hbase依赖 hadoop 2 .x 在 hadoop-env.sh 中配置：（注意：在 for 循环之后配） export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/* hadoop3
MR操作hbase的一点心得（含hbase表拷贝样例代码）
热门推荐
bluekeyv的专栏
11-22 1万+
最近在写基于hbase的MR程序。总结如下：       1、使用TableMapper来读取表       2、写入表的第一种方式是用TableMapReduceUtil.initTableReducerJob的方法，这里既可以在map阶段输出，也能在reduce阶段输出。区别是Reduce的class设置为null或者实际的reduce 以下是一个表copy的例子：   package
hadoop生态系统学习之路（十）MR将结果输出到hbase
蛋导的平凡之路
04-11 6517
之前讲了MR将结果输出到hdfs、hive、db，今天再给大家分享一下，如何将结果输出到hbase。 首先，提一句，笔者在hadoop集群执行此MR的时候报了一个错误，是一个jar包的缘故，这个错误是hbase版本的bug，在下面笔者会为大家介绍以及如何解决这个问题。 好了，笔者将分以下几个步骤进行介绍：一、pom依赖 <!-- hbase版本 --> <hbase.ver
MR方式HDFS数据导入Hbase表数据
qq_28719873的博客
07-19 1137
MR方式HDFS数据导入Hbase表数据，通过ImmutableBytesWritable方式 原始数据是基站码，不方便贴出来，大家见谅。 eg： 代码: package com.test.transform; import java.io.IOException; import java.text.ParseException; import java.util.Random; imp...
MySQL 插入中文提示Incorrect string value: '\x80\xE7\x8F\xAD' for column 'name' at row 1
CSDN_SUSAN的博客
07-31 3444
问题： MySQL建表后插入中文，提示“Incorrect string value: '\x80\xE7\x8F\xAD' for column 'name' at row 1”。 代码如下， --SET character_set_client=utf8; --SET character_set_server=utf8; --SET character_set_datab...
通过MR读数据，往Hbase中写数据
Jason的专栏
08-27 2006
1，首先是map类： package com.Hbase.maptohbase; import Java.io.IOException; import org.apache.Hadoop.mapreduce.Mapper; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; public cl
mr对hbase进行数据的读写
yumingzhu1的博客
06-25 2811
1. 实现方法Hbase对MapReduce提供支持，它实现了TableMapper类和TableReducer类，我们只需要继承这两个类即可。1、写个mapper继承TableMapper&lt;Text, IntWritable&gt; 参数：Text：mapper的输出key类型； IntWritable：mapper的输出value类型。 其中的map方法如下： map(Immutable...
利用MR程序从HDFS写数据到HBase的案例
Null的博客
06-04 1851
1.从HDFS中把数据插入到HBase中import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase...
spark读写hbase
07-29
首先，你需要在simple.sbt配置文件中指定HBase的版本号，包括hbase-client、hbase-common和hbase-server的版本号。你可以通过在Linux系统中打开终端并导航到HBase安装目录，然后使用命令"cd /usr/local/hbase"和"ls...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值