HBase 2.0 API 初步窥探

最新推荐文章于 2021-03-05 13:25:02 发布
最新推荐文章于 2021-03-05 13:25:02 发布
阅读量535 收藏
点赞数
分类专栏： HBase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XiaodunLP/article/details/97529926
版权
本文深入浅出地介绍了HBase 2.0的API使用，通过实例代码展示了如何进行数据操作，包括插入、查询、更新和删除等核心功能，帮助读者快速理解HBase 2.0的新特性。
摘要由CSDN通过智能技术生成

话不多说直接上代码

package Base;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import org.junit.Test;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class TestBasicOption {
    static Configuration config = null;
    static {
        config = HBaseConfiguration.create();
    }

    /**
     * @throws IOException
     * 创建单列簇的表
     */
    @Test
    public void createTable() throws IOException {
        try (Connection conn = ConnectionFactory.createConnection(config);
             Admin admin = conn.getAdmin()) {
            TableName tableName = TableName.valueOf("base1");
            if (!admin.tableExists(tableName)){
                // 表描述器的构建器
                TableDescriptorBuilder tdb = TableDescriptorBuilder.newBuilder(tableName);
                //  tdb.set...  可以设置表属性
                // 列簇描述器的构建器
                ColumnFamilyDescriptorBuilder cfdb = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("info"));
                //  cfdb.set...可以设置列簇属性
                //  列簇描述器
                ColumnFamilyDescriptor cfd = cfdb.build();
                //  将列簇描述器添加到表描述器构造器
                tdb.setColumnFamily(cfd);
                //  获得带有列簇描述器的表描述器
                TableDescriptor td = tdb.build();
                //  将表描述器传入admin管理者,创建表
                admin.createTable(td);
            }else{
                System.out.println("表已经存在!");
            }
        }
    }

    /**
     * @throws IOException
     * 创建包含多个列簇的表
     */
    @Test
    public void createTableWithMutl() throws IOException {
        try (Connection conn = ConnectionFactory.createConnection(config);
             Admin admin = conn.getAdmin()) {
            TableName tableName = TableName.valueOf("base2");
            if (!admin.tableExists(tableName)){
                TableDescriptorBuilder tdb = TableDescriptorBuilder.newBuilder(tableName);
                ColumnFamilyDescriptorBuilder cfdb1 = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("into1"));
                ColumnFamilyDescriptor cfd1 = cfdb1.build();
                ColumnFamilyDescriptorBuilder cfdb2 = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("into2"));
                ColumnFamilyDescriptor cfd2 = cfdb2.build();
                //  创建列簇描述器的列表
                List<ColumnFamilyDescriptor> cfdList = new ArrayList<>();
                //  添加每个列簇描述器于列表中
                cfdList.add(cfd1);
                cfdList.add(cfd2);
                //  将列簇描述器列表对象传入表描述器构建器对象
                tdb.setColumnFamilies(cfdList);
                //  得到包含多个列簇信息的表描述器
                TableDescriptor td = tdb.build();
                //  创建该表
                admin.createTable(td);
            }else{
                System.out.println("表已经存在!");
            }
        }
    }

    /**
     * @throws IOException
     * 向已有表中添加列簇
     * 对已有表的列簇进行属性修改,这里以修改版本最大值为例子
     */
    @Test
    public void modifyColumnFamily() throws IOException {
        /*
        原表概况:
        hbase(main):019:0> desc 'base1'
        COLUMN FAMILIES DESCRIPTION
        {NAME => 'info', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVE
        R', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION
         => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536'}
        1 row(s)
         */
        try(Connection conn = ConnectionFactory.createConnection(config);
            Admin admin = conn.getAdmin()){
            TableName tableName = TableName.valueOf("base1");
            if(admin.tableExists(tableName)){
                ColumnFamilyDescriptorBuilder newcfdb = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("info111"));
                ColumnFamilyDescriptor newcdb = newcfdb.build();
                admin.addColumnFamily(tableName,newcdb);

                ColumnFamilyDescriptorBuilder oldcfdb = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("info"));
                oldcfdb.setMaxVersions(10);
                ColumnFamilyDescriptor modifiedCDB = oldcfdb.build();
                admin.modifyColumnFamily(tableName,modifiedCDB);
            }else{
                System.out.println("该表不存在");
            }
        }
        /*
        以上代码执行完毕后,表概况如下:
        hbase(main):020:0> desc 'base1'
        COLUMN FAMILIES DESCRIPTION
        {NAME => 'info', VERSIONS => '10', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREV
        ER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSIO
        N => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536'}
        {NAME => 'info111', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOR
        EVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESS
        ION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536'}
        2 row(s)
        */
    }

    /**
     * @throws IOException
     * 向存在的表中添加数据
     */
    @Test
    public void putData() throws IOException {
        try(Connection conn = ConnectionFactory.createConnection(config);
            Admin admin = conn.getAdmin()){
            //  得到表对象,用来操作表中数据
            TableName tableName = TableName.valueOf("base1");
            if(admin.tableExists(tableName)){
                Table table = conn.getTable(tableName);
                //  插入一条数据
                Put put1 = new Put(Bytes.toBytes("001"));
                put1.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("zhangsan"));
                table.put(put1);

                //  插入多条数据,有些数据包含多个列
                List<Put> putList = new ArrayList<>();
                Put put2 = new Put(Bytes.toBytes("002"));
                put2.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("lisi"));
                Put put3 = new Put(Bytes.toBytes("003"));
                put3.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("wangwu"));
                put3.addColumn(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes(23));
                Put put4 = new Put(Bytes.toBytes("004"));
                put4.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("zhaoliu"));
                put4.addColumn(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes(17));
                put4.addColumn(Bytes.toBytes("info"),Bytes.toBytes("school"),Bytes.toBytes("HomeDun"));
                putList.add(put2);
                putList.add(put3);
                putList.add(put4);
                table.put(putList);
                table.close();
            }else{
                System.out.println("该表不存在");
            }
            /*
            hbase(main):023:0> scan 'base1'
            ROW                                                   COLUMN+CELL
             001                                                  column=info:name, timestamp=1564215173039, value=zhangsan
             002                                                  column=info:name, timestamp=1564215173244, value=lisi
             003                                                  column=info:age, timestamp=1564215173244, value=\x00\x00\x00\x17
             003                                                  column=info:name, timestamp=1564215173244, value=wangwu
             004                                                  column=info:age, timestamp=1564215173244, value=\x00\x00\x00\x11
             004                                                  column=info:name, timestamp=1564215173244, value=zhaoliu
             004                                                  column=info:school, timestamp=1564215173244, value=HomeDun
             */
        }
    }

    /**
     * @throws IOException
     * 修改某条记录的某个列的值
     *      实质就是将新的值作为新的版本添加,并没有真正替换,原来的值存在老版本的单元格中
     */
    @Test
    public void modifyColumnValue() throws IOException {
        try(Connection conn = ConnectionFactory.createConnection(config);
            Admin admin = conn.getAdmin()) {
            //  得到表对象,用来操作表中数据
            TableName tableName = TableName.valueOf("base1");
            if (admin.tableExists(tableName)) {
                Table table = conn.getTable(tableName);
                Put put4 = new Put(Bytes.toBytes("004"));
                put4.addColumn(Bytes.toBytes("info"),Bytes.toBytes("school"),Bytes.toBytes("MiddleSchool"));
                table.put(put4);
                table.close();
            }else{
                System.out.println("该表不存在");
            }
        }
        /*
         004       column=info:age, timestamp=1564215173244, value=\x00\x00\x00\x11
         004       column=info:name, timestamp=1564215173244, value=zhaoliu
         004       column=info:school, timestamp=1564215469986, value=MiddleSchool
         */
    }

    @Test
    public void deleteData() throws IOException {
        try(Connection conn = ConnectionFactory.createConnection(config);
            Admin admin = conn.getAdmin()) {
            //  得到表对象,用来操作表中数据
            TableName tableName = TableName.valueOf("base1");
            if (admin.tableExists(tableName)) {
                /*
                删除前:
                 002      column=info:name, timestamp=1564215173244, value=lisi
                 001      column=info:name, timestamp=1564215173039, value=zhangsan
                 003      column=info:age, timestamp=1564215173244, value=\x00\x00\x00\x17
                 003      column=info:name, timestamp=1564215173244, value=wangwu
                 004      column=info:age, timestamp=1564215173244, value=\x00\x00\x00\x11
                 004      column=info:name, timestamp=1564215173244, value=zhaoliu
                 004      column=info:school, timestamp=1564215469986, value=MiddleSchool
                 */
                Table table = conn.getTable(tableName);
                //  删除一行内容
                Delete delete1 = new Delete(Bytes.toBytes("001"));
                table.delete(delete1);

                //  删除某一行一个列簇内容
                Delete delete2 = new Delete(Bytes.toBytes("003"));
                delete2.addFamily(Bytes.toBytes("info"));
                table.delete(delete2);

                //  删除某一行某一列簇某些值的内容
                Delete delete3 = new Delete(Bytes.toBytes("004"));
                delete3.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"));
                delete3.addColumn(Bytes.toBytes("info"),Bytes.toBytes("school"));
                table.delete(delete3);

                table.close();
            }else{
                System.out.println("该表不存在");
            }
            /*
            删除后:
             002             column=info:name, timestamp=1564215173244, value=lisi
             004             column=info:age, timestamp=1564215173244, value=\x00\x00\x00\x11
             004             column=info:school, timestamp=1564215173244, value=HomeDun
             由于对于003来说只有一个列簇,删除整个列簇的数据后,该记录也相当于删除了
             */
        }
    }


    /**
     * @throws IOException
     * 按照rowKey得到某条记录
     */
    @Test
    public void getData() throws IOException {
        //  这里简单写异常处理的内容了
        Connection conn = ConnectionFactory.createConnection(config);
        Table table = conn.getTable(TableName.valueOf("base1"));
        Get get = new Get(Bytes.toBytes("004"));
        Result result = table.get(get);
        for(Cell cell : result.rawCells()){
            System.out.println(Bytes.toString(CellUtil.cloneRow(cell)));
            System.out.println(Bytes.toString(CellUtil.cloneFamily(cell)));
            System.out.println(Bytes.toString(CellUtil.cloneQualifier(cell)));
            System.out.println(Bytes.toString(CellUtil.cloneValue(cell)));
        }
        table.close();
        conn.close();
    }

    /**
     * @throws IOException
     * 全表扫描,得到数据
     */
    @Test
    public void scanData() throws IOException {
        //  这里简单写异常处理的内容了
        Connection conn = ConnectionFactory.createConnection(config);
        Table table = conn.getTable(TableName.valueOf("base1"));
        Scan scan = new Scan();
        ResultScanner scanner = table.getScanner(scan);
        for (Result result : scanner) {
            for (Cell cell : result.listCells()) {
                if (Bytes.toString(CellUtil.cloneQualifier(cell)).equals("age")) {
                    System.out.println("求不乱码");
                    System.out.print(Bytes.toString(CellUtil.cloneRow(cell)) + "\t\t");
                    System.out.print(Bytes.toString(CellUtil.cloneFamily(cell)) + ":");
                    System.out.print(Bytes.toString(CellUtil.cloneQualifier(cell)) + " -> ");
                    System.out.println(Bytes.toInt(CellUtil.cloneValue(cell)));
                } else {
                    System.out.println("叫你不用String");
                    System.out.print(Bytes.toString(CellUtil.cloneRow(cell)) + "\t\t");
                    System.out.print(Bytes.toString(CellUtil.cloneFamily(cell)) + ":");
                    System.out.print(Bytes.toString(CellUtil.cloneQualifier(cell)) + " -> ");
                    System.out.println(Bytes.toString(CellUtil.cloneValue(cell)));
                }
            }
            /*
            叫你不用String
            001		info:name -> zhangsan
            叫你不用String
            002		info:name -> lisi
            求不乱码
            003		info:age -> 23
            叫你不用String
            003		info:name -> wangwu
            求不乱码
            004		info:age -> 17
            叫你不用String
            004		info:name -> zhaoliu
            叫你不用String
            004		info:school -> HomeDun          
             */
            table.close();
            conn.close();
        }

    }


}

 

XiaodunLP
关注
专栏目录
大数据学习之路之HBASE
WangJun的专栏
09-19 859
Hadoop之HBASE 一、HBASE简介 HBase是一个开源的、分布式的，多版本的，面向列的，半结构化的NoSql数据库，提供高性能的随机读写结构化数据的能力。它可以直接使用本地文件系统，也可以使用Hadoop的HDFS文件存储系统。不过，为了提高数据的可靠性和系统的健壮性，并且发挥HBase处理大数据的能力，使用HDFS作为文件存储系统才更为稳妥。 HBase存储的数据从逻辑上来看就像一张...
Apache HBase 2.1.5 API.chm
01-03
Apache HBase 2.1.5 API chm格式文档 hbase-apache离线官方文档
HBase客户端API-表管理
kongxx的专栏
01-28 2098
上一篇博客说了怎样搭建HBase环境，今天说说怎样使用 HBase 的客户端 API 来操作 HBase 中的数据。 创建工程 首先创建一个 Maven 工程，然后添加hbase客户端api的依赖项，如下： dependency> groupId>org.apache.hbasegroupId> artifactId>hbase-clientartifactId>
Hbase2.0.5-API总结
dxy
03-05 284
Hbase2.0.5-API总结1. IDEA搭建方式2. 创建HbaseDDL类基本连接方法 1. IDEA搭建方式 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.0.5</version> </dependency> <depen
HBase_HBase2.0 Java API 操作指南 （二）Batch 操作
迎难而上
04-22 895
本篇文章主要承接第一篇文章，继续讲解更加高效的batch操作 xxx xxx
hbase 2.0参考手册
04-10
HBase 2.0作为该数据库的一个重大更新版本，提供了一系列的新特性、改进和性能增强。 HBase 2.0参考手册是一份官方文档，它详细介绍了该版本的所有功能、特性以及基本命令。这份手册适合于2.0.3版本的HBase，它为...
hbase2.0环境搭建
11-22
hbase2.0环境搭建的知识点可以从多个维度展开，包括环境准备、软件安装、配置调整、服务启动以及性能优化等方面。 首先，环境准备是hbase2.0环境搭建的重要环节。文档中提到需要有hadoop2.7.5环境的搭建和启动，...
HBase2.0集群部署(Ha)
06-17
在HBase2.0集群部署中，我们首先需要理解HBase的架构。HBase是由RegionServer和Master两部分组成。RegionServer负责实际的数据存储和访问，而Master则负责全局的元数据管理和负载均衡。在集群部署时，我们需要在多台...
藏经阁-HBase2.0重新定义小对象实时存取.pdf
最新发布
09-04
HBase 2.0_medium objects (MOB)实时存取技术 HBase 2.0_medium objects (MOB)是一种新型的实时存取技术，旨在解决小对象存储问题。MOB 技术可以实现读写强一致、低延迟、高并发、兼容所有企业级特性，如 Snapshot...
hbase-2.0.0.3.0.0.0-1634-bin.tar.gz
08-21
《HBase 2.0.0.3.0.0.0-1634 在 Ambari 2.7.x 下的编译与使用详解》 HBase，全称Apache HBase，是一款构建在Hadoop文件系统之上的分布式、版本化、列族式存储系统，主要用于处理大规模数据。它提供了高度可靠性和高...
HBase_HBase2.0 Java API 操作指南 （一）CRUD
迎难而上
04-21 1323
由于网上的HBase Java API 大多都是基于 Hbase 1.0 + 的，故写了这篇文章。 参考了以下文章： https://blog.csdn.net/u012893747/article/details/84753988 本篇文章只讲解下 基本的 CURD 操作，更为复杂的操作，我们放到后面讲解。 目录 依赖包 建立连接 创建表 删除列族 删除表 插入数据 ...
更新hbase client api 2.0.1记录
望着下雨的天
07-05 3639
今天更新hbase-client版本发现原本使用的utils类提示方法废弃，所以查询新的api文档发现确实做了变更，而且以前1.x用的方法将会在以后3.x版本删除； 更新的版本maven：   &lt;dependency&gt; &lt;groupId&gt;org.apache.hbase&lt;/groupId&gt; &lt;artifactId&gt;hbase-...
Hbase2.0.2之JavaAPI
u012893747的博客
12-03 4800
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbas...
Hbase2.0.2JavaApi操作
Neo_L的博客
06-15 1078
参考:https://blog.csdn.net/u012893747/article/details/84753988 参考：http://blog.itpub.net/31506529/viewspace-2214159/
HBase_HBase2.0+ Java API 操作指南 (三) 扫描器Scan
迎难而上
04-23 5902
Hbase 取数据通过 Get 方法去取数据还是效率太低了。这里我们学习下如何获取一批数据。 这里我们首先学习下Scan ，Scan 是基础，在Scan中可以设置过滤器 Filter。 扫描器 扫描技术。这种技术类似于数据库系统中的游标（cursor), 并利用到了HBase 提供的底层顺序存储的数据结构。 扫描操作的工作方式类似于迭代器，用户无需调用scan...
HBase客户端API使用
小黑
07-21 9511
篇幅中使用的HBase版本为1.1.2 Java API HBase提供了一套Java API来支持Java程序对HBase数据库的请求操作，在hbase shell中能够使用的都可以通过这套API来实现 HBase有两套API，分别是1.0和2.0，在较新版本的HBase中使用1.0的API时，很多类和方法都被标记为Deprecated，官方表示旧版本的API将会在3.0版本中删除，
hbase的admin可用api汇总
进一步有一步的欢喜
10-27 4086
hbase的admin接口提供了一系列可以获得集群访问状态的api，如果是做hbase的集群监控系统，通过这些api或许可以帮你获得关于当前集群访问情况的数据，并简单介绍这些api返回的信息和一些使用姿势。 admin.listTableNames()：返回集群的table列表 admin.getClusterStatus()：返回一个ClusterStatus类，该类描述了集群整体的一些状态
Hbase新旧api对比
songjifei的专栏
01-06 1985
HBase1.0.1.1 API与原来有所不同 1 package com.felix.hbaseapi_test; 2 3 /* 这是旧版的 API操作 */ 16 public class hbaseapifelix { 17 18 public static final String TABLE_NAME = "t
HBase_HBase2.0 Java API 操作指南 (五) 计数器
迎难而上
04-24 941
HBase 的计数器在 点击流和广告统计中非常常用。本篇文章我们将从 shell 和 java API 两个方面去探索 Hbase 的计数器的使用。
Ubuntu16.04下搭建Hbase2.0环境教程
"在Ubuntu16.04操作系统下搭建hbase2.0环境，需要一个已配置好的hadoop2.7.5环境，使用hbase内置的ZooKeeper，并确保JDK1.8已安装。至少需要3台主机，且主机数必须为奇数，因为ZooKeeper选举算法的要求。在三台主机...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值