HBase数据模型及HBaseJavaAPI HBase导入数据

最新推荐文章于 2024-04-23 14:32:29 发布
最新推荐文章于 2024-04-23 14:32:29 发布
阅读量494 收藏 4
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu918458630/article/details/108193887
版权

标题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

HBaseJavaAPI

地址
在这里插入图片描述
HBase官方文档中文版
在这里插入图片描述
在这里插入图片描述
IDEA中开始写
在这里插入图片描述

把member表备份到member_bak中

package com.kgc.hbase;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * @Date: 2020/8/24 9:48
 * @Description: 使用mapreduce完成HBase表数据的拷贝
 * 把member表备份到member_bak中
 * <p>
 * create 'member','info','address'
 * put 'member','tom','info:age','18'
 * put 'member','tom','info:address','BeiJing'

 * scan 'member'
 * ROW                            COLUMN+CELL
 * tom                           column=info:address, timestamp=1598234615578, value=BeiJing
 * tom                           column=info:age, timestamp=1598234602279, value=18
 * 1 row(s) in 0.0210 seconds
 * put 'member','jason','info:age','25'
 * <p>
 *     下面建个空的 把上表中的年龄放到这个表里
 * create 'member_bak','info','address'
 *使用命令打包
 *E:\大数据学习PPT\项目练习\itrip-redis这块练习\demo3\test-hdfs>mvn package -DskipTests
 *
 *  $HADOOP_CLASSPATH=`${hbase_home}/bin/hbase classpath`
 *  export $HADOOP_CLASSPATH=`${hbase_home}/bin/hbase classpath`
 *  上面两个都不对 下面这个终于对了
 *  export HADOOP_CLASSPATH=`${hbase_home}/bin/hbase classpath`
 *  com.kgc.hbase.HBaseCopyApp01
 *  hadoop jar ~/app/tmp/libs/test-hdfs-1.0-SNAPSHOT.jar com.kgc.hbase.HBaseCopyApp01 member member_bak
 *我们member_bak里本没有东西 我们复制
 * hbase(main):001:0> scan'member_bak'
 * ROW                                COLUMN+CELL
 *  jason                             column=info:age, timestamp=1598255370591, value=25
 *  tom                               column=info:age, timestamp=1598255346426, value=18
 * 2 row(s) in 0.3440 seconds
 */

public class HBaseCopyApp01 {
    public static class MyMapper extends TableMapper<Text, Put> {
        //rowkey：字符串类型
        Text mapOutPutKey = new Text();

        //alt+Ins  找方法中的map
        @Override
        protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
            //ImmutableBytesWritable:rowkey的数据类型
            //key就是hbase中的rowkey
            //hbase数据构成：rowkey-列族(列键：列修饰符)-值

            //设置输出的rowkey
            mapOutPutKey.set(Bytes.toString(key.get()));
            //创建Put，添加rowkey
            Put p = new Put(key.get());

            //只备份cf:info中的age
            //遍历result:ResultScanner
            for (Cell cell : value.listCells()) {
                //判断列族是否为info
                if ("info".equals(Bytes.toString(CellUtil.cloneFamily(cell)))) {
                    //判断列修饰符是否为age
                    if ("age".equals(Bytes.toString(CellUtil.cloneQualifier(cell)))) {
                        p.add(cell);
                    }
                }
            }
            context.write(mapOutPutKey, p);
        }
    }
        public static class MyTableReducer extends TableReducer<Text, Put, ImmutableBytesWritable> {

            @Override
            protected void reduce(Text key, Iterable<Put> values, Context context) throws IOException, InterruptedException {
                for (Put put : values) {
                    context.write(null, put);
                }
            }
        }

        public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
            Configuration config = HBaseConfiguration.create();
            Job job = new Job(config, "HBaseCopyApp01");
            job.setJarByClass(HBaseCopyApp01.class);     // class that contains mapper and reducer

            Scan scan = new Scan();
            scan.setCaching(500);        // 1 is the default in Scan, which will be bad for MapReduce jobs
            scan.setCacheBlocks(false);  // don't set to true for MR jobs
// set other scan attrs

            TableMapReduceUtil.initTableMapperJob(
                    args[0],      // input table
                    scan,               // Scan instance to control CF and attribute selection
                    MyMapper.class,     // mapper class
                    Text.class,         // mapper output key
                    Put.class,  // mapper output value
                    job);
            TableMapReduceUtil.initTableReducerJob(
                    args[1],        // output table
                    MyTableReducer.class,    // reducer class
                    job);
            job.setNumReduceTasks(1);   // at least one, adjust as required

            boolean b = job.waitForCompletion(true);
            if (!b) {
                throw new IOException("error with job!");
            }
        }

}

虚拟机中的操作

上面是代码实现从一个表复制想要内容到另外一个表
因此需要两个表 一个放数据 一个空表接收复制来的数据

create 'member','info','address'
put 'member','tom','info:age','18'
put 'member','tom','info:address','BeiJing'
scan 'member'
put 'member','jason','info:age','25'
create 'member_bak','info','address'

代码写完打成jar包（采取命令打包：mvn package -DskipTests）
在这里插入图片描述
在这里插入图片描述

把到好的包上传到：/home/hadoop/app/tmp/libs
在这里插入图片描述
常见错误参考

# 报下面错误需要执行的命令 （hbase_home是你配置的环境变量 里面用的大(小)写这里就大(小)写）
#导出这个全局变量
export HADOOP_CLASSPATH=`${hbase_home}/bin/hbase classpath`

hadoop jar ~/app/tmp/libs/test-hdfs-1.0-SNAPSHOT.jar com.kgc.hbase.HBaseCopyApp01 member member_bak

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

HBase导入数据

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

package com.kgc.hbase;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import java.io.IOException;

/**
 * @Author: 
 * @Date: 2020/8/24 15:29
 * @Description:
 */
public class HDFSToHBaseApp {
    public static class MyMapper extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put> {
        //rowkey
        ImmutableBytesWritable rowKey = new ImmutableBytesWritable();

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //按逗号分割数据
            String[] splits = value.toString().split(",");
            //设置rowkey，取值我分割后的第一段内容
            Put put = new Put(Bytes.toBytes(splits[0]));
            /*
            * zhangsan,30,company1
                lisi,40,company2
                wangwu,50,company3
            */
            put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("age"),Bytes.toBytes(splits[1]));
            put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("company"),Bytes.toBytes(splits[2]));

            //
            rowKey.set(Bytes.toBytes(splits[0]));
            context.write(rowKey,put);

        }
    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration config = HBaseConfiguration.create();
        Job job = new Job(config,"HDFSToHBaseApp");
        job.setJarByClass(HBaseCopyApp01.class);     // class that contains mapper and reducer

        //map设置
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(ImmutableBytesWritable.class);
        job.setMapOutputValueClass(Put.class);
        FileInputFormat.addInputPath(job,new Path(args[0]));

        TableMapReduceUtil.initTableReducerJob(
                args[1],        // output table
                null,    // reducer class
                job);
        job.setNumReduceTasks(1);   // at least one, adjust as required

        boolean b = job.waitForCompletion(true);
        if (!b) {
            throw new IOException("error with job!");
        }

    }
}

然后打包 继续弄到libs下 删除原来的

mvn package -DskipTests

 hadoop jar ~/app/tmp/libs/test-hdfs-1.0-SNAPSHOT.jar com.kgc.hbase.HDFSToHBaseApp /data/employee.txt employee

在这里插入图片描述

在这里插入图片描述

问题一箩筐
关注
Hbase表基于javaAPI批量导入txt数据 && 使用java向hbase表批量导入数据 && 使用从本地文件向hbase表批量导入数据
u010571479的博客
08-04 1877
标题这么麻烦，其实是为了让大家能搜到我啦，嘻嘻，这篇文章主要的内容就是本地有个txt文件，或者其他格式的文件，使用java，把这个文件里数据批量导入到hbase的某个表中。 这只是个简单的笨办法啦、适合类似我这种对hbase不咋会且资源受制于人但需要尽快完成任务的。 欢迎大神评论区指正或提供思路，毕竟我是真的菜。 1. 背景交代 搞这个东西，主要是工作中需要集群迁移，集群搬迁不是我们部门来做，所以数据还没有搬到新集群，但是我要把项目进行升级，就需要在新集群放点数...
怎样把JAVA包导入到hbase_将文件以API方式导入到HBase（小文件处理）
weixin_33735910的博客
02-28 553
前面我们搭建了Hadoop及HBase本地开发环境，(参见前文：Win7 64位系统上Hadoop单机模式的安装及开发环境搭建，Win7 64位系统上HBase单机模式的安装)多数情况下，对于MapReduce模型，其底层使用HDFS作为存储，在HDFS中，其NameNode节点保存的是文件的元数据，DataNode保存真正的文件数据，如果是大型数据文件，这没有任何问题，但如果对于大量的小文件，其...
Hbase调用JavaAPI实现批量导入操作
08-06
NULL 博文链接：https://787141854-qq-com.iteye.com/blog/2067818
Hbase-javaAPI之将本地数据写到Hbase中
weixin_45247609的博客
09-28 3235
首先添加Hbase的依赖 1、获取Hbase的连接对象 2、读取本地文件 3、put到Hbase表中(提前在Hbase中创建表,并设置好列族) 4、释放资源 import com._51doit.utils.HbaseUtil; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableN..
hbase java api操作导入数据
py_mxy的博客
12-01 2695
使用hbase存储名人数据集，数据集由名人文字信息以及名人图片组成。 名人文字信息使用scrapy框架从wiki百科上爬取并保存在csv格式中。 图片信息从百度图片上爬取每人30张保存在以该名人姓名命名的文件夹中 因此本文包含以下几个方面： - 爬取文本的爬虫 - 爬取图片的爬虫 - 将数据导入hbasescrapy 爬取wiki百科首先新建scrapy项目 然后在settings
HBase数据及物理模型架构及工作原理
02-25
本文来自于csdn，主要为对HBase简介，HBase数据模型及物理模型，HBase架构及工作原理。HBase是一个构建在HDFS之上的，分布式的、面向列的开源数据库HBase是GoogleBigTable的开源实现，它主要用于存储海量数据个人...
Hbase数据模型与存储结构
最新发布
2401_84046577的博客
04-23 1262
还有更多的Redis、MySQL、JVM、Kafka、微服务、Spring全家桶等学习笔记这里就不一一列举出来。
java程序实现导入数据到hbase的表
jquery_learn的博客
05-25 433
java程序实现导入数据到hbase的表
java导入hbase,HBase中数据的导入导出
weixin_35117321的博客
03-15 785
在实际应用HBase过程中，经常需要将生产环境中的数据备份，或者需要在开发环境中利用生产环境的数据(更加符合实际情况)，因此HBase存储的数据的导入导出必不可少。主要步骤如下：1、切换到hbase bin的目录下，将HBase中表复制导出到HDFS中，执行：hbase org.apache.hadoop.hbase.mapreduce.Export test_table/data/test_ta...
java从本地读文件并上传Hbase
05-22
java从本地读文件并上传Hbase
hbase数据可视化系统
07-14
springboot搭建的hbase可视化界面 支持hbase的建表与删除 支持根据rowkey查询数据
hbase存储csv数据的代码实现
02-27
这是hbase对数据存储的代码实现，让你轻松秒懂hbase，
使用Java API操作Hbase建表和插入数据
Resulte的博客
01-16 4834
使用Java API操作Hbase建表和插入数据 使用Java API操作Hbase建表和插入数据 代码库Github链接为：https://github.com/Resulte/operate-hbase-with-java-api （希望您去Github的时候可以顺手给个Star） 实现以下操作： 在HBase中创建一张表，名为“Orders”，存储每一条订单记录。 该表包括两个列族，“OrderDetail”与“Transaction”。 “OrderDetail”包括“consumerId”，“i
java api连接hbase问题
qq_36412496的博客
06-15 508
在window环境变量的用户环境变量中，添加如下图的配置，点击确定。重启elipese即可上hadoop
hbase shell基本命令、本地数据批量导入Hbase、Hbase与Hive交互实例
我玩的很开心的博客
07-22 4165
Hbase常用操作一、hbase shell基本命令二、将本地表数据批量导入到hbase中三、hbase与hive映射 一、hbase shell基本命令 判断表存在与否 exists 'tablename' 使用通配符的方式列出所有表 list 'abc.*' 查看HBase 的版本 version 查看HBase 的状态 status 查看HBase 帮助文档 help 创建一个表user，列族为baseinfo，privateinfo create 'user',{N
大数据——HBase Java API
蜂蜜柚子加苦茶
09-25 268
HBase APIHBase APIHBase Java APIHBase REST APIJava实现HBase创建表添加数据 HBase API 官方最常用API为Java 支持完整的HBase命令集 External API：REST、Scala、Python等 http://hbase.apache.org/book.html#external_apis API类型 API信息 Java https://hbase.apache.org/apidocs/ Python h
Hbase之一月速成：Hbase的JavaAPI操作
weixin_46490924的博客
04-11 4220
HBase+JavaAPI
【HBase入门】9. HBase Java编程（3）——数据查看、导入导出
CSDNGuoYuying的博客
01-27 1756
HBase Java编程（3）——数据查看、导入导出
HBase数据模型详解与表设计策略
HBase数据模型解析与基本表设计详解 HBase作为一款开源、可扩展的分布式NoSQL数据库，其设计初衷是为海量数据存储提供高效解决方案。它借鉴了Google Bigtable的数据模型，并运行于Hadoop的HDFS存储系统之上，与关系...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值