MapReduce 操作 Hbase

已于 2022-04-27 22:29:59 修改
阅读量2.1k 收藏 5
点赞数 1
分类专栏： hbase 文章标签： hbase
于 2022-04-25 21:10:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55834564/article/details/124413932
版权

目录

一、配置

1.hbase建表

2.创建数据

3.导入依赖

二、从HDFS中导入到HBase中

1.写map和job

2.输出结果

 3.虚拟机查询

三、从HBase中导出到HDFS

1.代码如下：

2.输出结果

3.虚拟机查询

一、配置

1.hbase建表

hbase(main):002:0> create 'emp','info'
0 row(s) in 1.7460 seconds

=> Hbase::Table - emp

2.创建数据

[root@hadoop dool]# vim emp.txt
1201,gopal,manager,50000,TP
1202,manisha,preader,50000,TP
1203,kalil,phpdev,30000,AC
1204,prasanth,phpdev,30000,AC
1205,kranthi,admin,20000,TP
1206,satishp,grpdes,20000,GR

3.导入依赖

<dependencies>
<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.3</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.4.13</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-server -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.4.13</version>
        </dependency>
</dependencies>

二、从HDFS中导入到HBase中

1.写map和job



import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;

public class toHbase extends Configured implements Tool {
    public static void main(String[] args) {
        try {
            ToolRunner.run(new toHbase(),null);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    @Override
    public int run(String[] strings) throws Exception {
        //获取连接
        Configuration configuration = new Configuration();
        //先指定HDFS的位置
        configuration.set("fs.defaultFS", "hdfs://192.168.17.151:9000");
        //指定hbase位置
        configuration.set("hbase.rootdir","hdfs://hadoop:9000/hbase");
        //指定zookeeper的位置
        configuration.set("hbase.zookeeper.quorum", "192.168.17.151");
        //获取job
        Job job = Job.getInstance(configuration);
        //指定主类的位置mapper的位置
        job.setJarByClass(toHbase.class);
        job.setMapperClass(toMapper.class);
        //指定Mapper输出的key和value的类型
        job.setMapOutputKeyClass(ImmutableBytesWritable.class);
        job.setMapOutputValueClass(Put.class);
        //指定输入路径
        FileInputFormat.addInputPath(job,new Path("/emps.txt"));
        //指定输出表格
        TableMapReduceUtil.initTableReducerJob("emp",null,job);
        //指定输出的reduce数量,最少一个
        job.setNumReduceTasks(1);
        //提交任务
        boolean b = job.waitForCompletion(true);
        System.out.println(b);
        return 0;
    }
}
class toMapper extends Mapper<LongWritable, Text , ImmutableBytesWritable, Put> {
    private ImmutableBytesWritable rowKey = new ImmutableBytesWritable();
    //私有byte数组，字符串转byte格式
    private byte[] info = Bytes.toBytes("info");
    private byte[] name = Bytes.toBytes("name");
    private byte[] job = Bytes.toBytes("job");
    private byte[] salary = Bytes.toBytes("salary");
    private byte[] deptName = Bytes.toBytes("deptName");


    @Override
    protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, ImmutableBytesWritable, Put>.Context context) throws IOException, InterruptedException {
        //拆分
        String[] split = value.toString().split(",");
        //作判断
        if(split.length == 5){
            //rowKey赋值
            rowKey.set(Bytes.toBytes(split[0]));
            //创建put对象
            Put put = new Put(Bytes.toBytes(split[0]));
            put.addColumn(info,name,Bytes.toBytes(split[1]));
            put.addColumn(info,job,Bytes.toBytes(split[2]));
            put.addColumn(info,salary,Bytes.toBytes(split[3]));
            put.addColumn(info,deptName,Bytes.toBytes(split[4]));
            context.write(rowKey,put);
        }

    }
}

2.输出结果

 3.虚拟机查询

hbase(main):007:0> scan 'emp'
ROW                                 COLUMN+CELL                                                                                          
 1201                               column=info:deptName, timestamp=1650564108850, value=TP                                              
 1201                               column=info:job, timestamp=1650564108850, value=manager                                              
 1201                               column=info:name, timestamp=1650564108850, value=gopal                                               
 1201                               column=info:salary, timestamp=1650564108850, value=50000                                             
 1202                               column=info:deptName, timestamp=1650564108850, value=TP                                              
 1202                               column=info:job, timestamp=1650564108850, value=preader                                              
 1202                               column=info:name, timestamp=1650564108850, value=manisha                                             
 1202                               column=info:salary, timestamp=1650564108850, value=50000                                             
 1203                               column=info:deptName, timestamp=1650564108850, value=AC                                              
 1203                               column=info:job, timestamp=1650564108850, value=phpdev                                               
 1203                               column=info:name, timestamp=1650564108850, value=kalil                                               
 1203                               column=info:salary, timestamp=1650564108850, value=30000                                             
 1204                               column=info:deptName, timestamp=1650564108850, value=AC                                              
 1204                               column=info:job, timestamp=1650564108850, value=phpdev                                               
 1204                               column=info:name, timestamp=1650564108850, value=prasanth                                            
 1204                               column=info:salary, timestamp=1650564108850, value=30000                                             
 1205                               column=info:deptName, timestamp=1650564108850, value=TP                                              
 1205                               column=info:job, timestamp=1650564108850, value=admin                                                
 1205                               column=info:name, timestamp=1650564108850, value=kranthi                                             
 1205                               column=info:salary, timestamp=1650564108850, value=20000                                             
 1206                               column=info:deptName, timestamp=1650564108850, value=GR                                              
 1206                               column=info:job, timestamp=1650564108850, value=grpdes                                               
 1206                               column=info:name, timestamp=1650564108850, value=satishp                                             
 1206                               column=info:salary, timestamp=1650564108850, value=20000                                             
6 row(s) in 0.2600 seconds

三、从HBase中导出到HDFS

1.代码如下：



import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.CompareFilter;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;
/**
 * MapReduce操作HBase：将HBase中的数据写入到HDFS
 */

public class FromHBaseToHDFS extends Configured implements Tool {
    public static void main(String[] args) {
        try {
            ToolRunner.run(new FromHBaseToHDFS(),null);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    @Override
    public int run(String[] strings) throws Exception {
        Configuration configuration = new Configuration();
        //先指定HDFS的位置
        configuration.set("fs.defaultFS", "hdfs://192.168.17.151:9000");
        //指定hbase位置
        configuration.set("hbase.rootdir","hdfs://hadoop:9000/hbase");
        //指定zookeeper的位置
        configuration.set("hbase.zookeeper.quorum", "192.168.17.151");
        //获取job
        Job job = Job.getInstance(configuration);
        job.setJarByClass(FromHBaseToHDFS.class);
        //创建过滤器
        BinaryComparator binaryComparator = new BinaryComparator("30000".getBytes());
        SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter("info".getBytes(), "salary".getBytes(), CompareFilter.CompareOp.LESS_OR_EQUAL, binaryComparator);
        //创建扫描器
        Scan scan = new Scan();
        scan.setFilter(singleColumnValueFilter);
        TableMapReduceUtil.initTableMapperJob("emps",scan,HDFSMapper.class,NullWritable.class,Text.class,job);
        //设置reduce
        job.setReducerClass(HDFSReducer.class);
        job.setOutputKeyClass(NullWritable.class);
        job.setOutputValueClass(Text.class);
        Path path=new Path("/0427");
        FileSystem fileSystem = FileSystem.get(configuration);
        //递归删除
        if(fileSystem.exists(path)){
            fileSystem.delete(path,true);
        }

        FileOutputFormat.setOutputPath(job, path);
        boolean b = job.waitForCompletion(true);
        System.out.println(b);
        return 0;
    }
}
class HDFSMapper extends TableMapper<NullWritable, Text>{
    @Override
    protected void map(ImmutableBytesWritable key, Result value, Mapper<ImmutableBytesWritable, Result, NullWritable, Text>.Context context) throws IOException, InterruptedException {
        Text val = new Text();
        String row = null;
        String name = null;
        String job = null;
        String salary = null;
        String deptName = null;
        for (Cell c : value.listCells()) {
            //拿到id
            row = Bytes.toString(c.getRow());
            if(Bytes.toString(CellUtil.cloneQualifier(c)).equals("name")){
                byte[] value1 = CellUtil.cloneValue(c);
                name = Bytes.toString(value1);
        }
            if(Bytes.toString(CellUtil.cloneQualifier(c)).equals("job")){
                byte[] value2 = CellUtil.cloneValue(c);
                job = Bytes.toString(value2);
            }
            if(Bytes.toString(CellUtil.cloneQualifier(c)).equals("salary")){
                byte[] value2 = CellUtil.cloneValue(c);
                salary = Bytes.toString(value2);
            }
            if(Bytes.toString(CellUtil.cloneQualifier(c)).equals("deptName")){
                byte[] value2 = CellUtil.cloneValue(c);
                deptName = Bytes.toString(value2);
            }

    }
        val.set("row:"+row+",name:"+name+",job:"+job+",salary:"+salary+",deptName:"+deptName);
        context.write(NullWritable.get(),val);

    }
}
class HDFSReducer extends Reducer<NullWritable, Text, NullWritable, Text>{
    @Override
    protected void reduce(NullWritable key, Iterable<Text> values, Reducer<NullWritable, Text, NullWritable, Text>.Context context) throws IOException, InterruptedException {
        for (Text value : values) {
            context.write(NullWritable.get(),value);
        }

    }
}

2.输出结果

 

3.虚拟机查询

[root@hadoop ~]# hdfs dfs -cat /0427/part-r-00000
row:1206,name:satishp,job:grpdes,salary:20000,deptName:GR
row:1205,name:kranthi,job:admin,salary:20000,deptName:TP
row:1204,name:prasanth,job:phpdev,salary:30000,deptName:AC
row:1203,name:kalil,job:phpdev,salary:30000,deptName:AC

使用MapReduce操作HBase
Today_2018的博客
05-19 847
1 环境准备 1）成功搭建hadoop-2.6.0-cdh5.10.0，hbase-1.2.0-cdh5.10.0开发环境 2）成功启动dfs、yarn、zookeeper、master、regionserver，通过HBase Shell进行测试 sbin/start-dfs.sh sbin/start-yarn.sh bin/hbase-daemon.sh start zookeeper bin/hbase-daemon.sh start master bin/hbase-daemon.sh start
MapReduce 操作 HBase、解决依赖缺失的问题
赤兔胭脂小吕布的博客
03-01 215
目录MapReduce on HBase流程图☆MapReduce 读取 HBase 代码示例缺少相关依赖的处理方法1MapReduce 读取 HBase 数据 处理数据并保存至 HBase 代码示例缺少相关依赖的处理方法2MapReduce on HBase 流程图☆ 不能直接穿到底层去读取 HFile ，因为有一部分数据在 MemStore 中，所以要去和 RegionServer 建立...
MapReduce 操作 HBase
程序员学习圈
09-17 3187
1.HBase与MR关系 　　HBase和MapReduce，这两者并没有直接关系，隶属于不同的项目。这里讲到的MapReduce on HBase是指利用HBase表做为MR计算框架的数据输入源或者输出源源，使得能够利用MR的并行计算能力计算HBase的内部数据。   2.官方HBase-MapReduce 2.1 查看HBase的MapReduce任务的执行         $ bi...
mapreduce操作hbase
Allenzyg的博客
06-09 561
现在有一些大的文件，需要存入HBase中，其思想是先把文件传到HDFS上，利用map阶段读取对，可在reduce把这些键值对上传到HBase中。 Reduce类,主要是将键值传到HBase表中 由上面可知ReducerClass继承TableReduce，在hadoop里面ReducerClass继承Reducer类。它的原型为：TableReducer可以看出，HBase里面是读出的Key类型是ImmutableBytesWritab...
如何用MapReduce程序操作hbase
https://gitcode.net/liuyuan185442111
04-27 4065
先看一个标准的hbase作为数据读取源和输出目标的样例：Configuration conf = HBaseConfiguration.create(); Job job = new Job(conf, "job name "); job.setJarByClass(test.class); Scan scan = new Scan(); TableMapReduceUtil.initTableMa
HBase学习笔记（5）——MapReduce操作Hbase
一角残叶的博客
09-19 3075
1 实现方法 Hbase对MapReduce提供支持，它实现了TableMapper类和TableReducer类，我们只需要继承这两个类即可 1.1 写个mapper继承TableMapper&amp;lt;Text, IntWritable&amp;gt; 参数：Text：mapper的输出key类型； IntWritable：mapper的输出value类型。 map(ImmutableBytesWrit...
MapReduce操作HBase数据：实验指南
该实验是关于使用MapReduce操作HBase数据的实践，主要涉及Hadoop、Zookeeper、Eclipse和HBase的相关知识。实验环境基于Centos 7.5，使用Apache Hadoop 2.7.3、Apache Zookeeper 3.4.10、Eclipse Neon.34.6.3和Apache...
MapReduce on Hbase
05-05
在使用MapReduce操作HBase时，可以通过Hadoop MapReduce框架提供的API与HBase数据库进行交互。这使得开发者可以在Hadoop集群上运行MapReduce作业，以批量处理存储在HBase中的大量数据。由于HBase和Hadoop都是基于...
基于MapReduce和HBase的海量网络数据处理.pdf
08-15
基于MapReduce和HBase的海量网络数据处理 大数据时代，网络数据的处理和分析变得越来越重要。传统的网络数据处理模式已经无法满足大数据量的需求，需要寻求更高效的网络数据计算模式和数据存储模式。基于MapReduce...
MapReduce操作hbase实例代码 MapReduce读取文件，存入hbase实例
liuxiaochen123的专栏
11-07 231
废话我就不说了，直接上代码，很简单，一看就懂 /**---------------------------------------------------------------- // 文件名：DataToHbase.java // // 创建时间：2012-11-7 //--------------------------------------------------------...
MapReduce操作Hbase
sjzsu的专栏
01-14 327
原文链接： https://www.cnblogs.com/qingyunzong/p/8681490.html ReadHbaseDataToHDFS 执行，需要引入hive lib中的包  java -cp .:/app/appuser/apps/hbase-1.4.9/lib/*:hbase_run_jar-0.0.1-SNAPSHOT-jar-with-dependencies.j...
MapReduce 操作 hbase
moheqionglin的专栏
01-15 655
hbase mapreduce
hbase mapReduce操作
fanghailiang2016的博客
07-12 170
需求：将学生表的相关数据的部分列导入到另一张表中 学生表的数据参考我的上一篇博客https://blog.csdn.net/fanghailiang2016/article/details/107218724 map类负责将原始表的每一行按照需求解析成put对象 public class TestHbaseMapper extends TableMapper<ImmutableBytesWritable, Put> { @Override protected void .
MapReduce操作Hbase（3）
bingjie1217的专栏
09-12 1315
从HBase读取数据MR操作后写入HBase 1、blog实例分析 业务需求是这样：找到具有相同兴趣的人，我们简单定义为如果author之间article的tag相同，则认为两者有相同兴趣，将分析结果保存到HBase。除了上面介绍的blog表外，我们新增一张表tag_friend，RowKey为tag，Value为authors,大概就下面这样： 我们省略了一些跟分析无关的Col
HBase——MapReduce操作HBase
Devin
04-27 390
本节目标：掌握编写MR操作HBase。通过官方实例，可以看到自定义map函数要继承TableMapper，自定义reduce函数要继承TableReducer。测试实例：/** * 从文本中读取内容，结果保存到HBase中 */ /** * map函数如果继承TableRMap，则从HBase中读取内容，在此依旧从HDFS中读取 */ class WCMap extends Mapper&...
HBase MapReduce数据操作
最新发布
晓晓的天空
03-03 1469
HBase MapReduce数据操作
HBase-1.0.1学习笔记（四）MapReduce操作HBase
weixin_34414196的博客
09-04 204
鲁春利的工作笔记，谁说程序员不能有文艺范？环境：hadoop-2.6.0hbase-1.0.1zookeeper-3.4.61、Hadoop集群配置过程略；2、Zookeeper集群配置过程略；3、HBase集群配置过程略；4、HBase作为输入源示例查看当前hbase表m_domain中的数据[hadoop@dnode1conf]$hba...
mapreduce与hbase整合
qq_44628453的博客
01-06 226
关于mapreduce和hbase的整合MapReduceDriver Map protected void map(ImmutableBytesWritable key, Result result, Context context) throws IOException, InterruptedException { /** * * @param key ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lambda-小张

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值