HBase通过Java利用rowkey简单查询数据

最新推荐文章于 2024-05-14 06:04:38 发布
最新推荐文章于 2024-05-14 06:04:38 发布
阅读量5.4k 收藏 8
点赞数
文章标签： hbase java hadoop 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47878012/article/details/121621303
版权

注意事项：操作前要确保HBase已经正常运行而Hbase强依赖于HDFS以及zookeeper，所以在操作之前一定要保证Hbase、Hadoop和zookeeper正常启动。

IDEA：IntelliJ IDEA 2021.1 x64

 

第一步：创建maven工程，导入jar包

新建maven工程

 

在pom.xml文件下写入

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>Hbase</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>16</maven.compiler.source>
        <maven.compiler.target>16</maven.compiler.target>
    </properties>
    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.0.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-server -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>2.0.0</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.testng</groupId>
            <artifactId>testng</artifactId>
            <version>6.14.3</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                    <!--    <verbal>true</verbal>-->
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

等待jar包下载完成

第二步：开发javaAPI操作HBase表数据

 在src下的test下的Java下新建软件包

 在软件包下新建Java类

 在public class HBaseOperate下

public class HBaseOperate{
        

    }

 通过管理员对象创建一张HBase表myuser有两个列族f1 f2


    //创建一张HBase表myuser有两个列族f1 f2
    @Test
    public void createTable() throws IOException {
        //连接HBase集群
        Configuration configuration = HBaseConfiguration.create();
        //指定hbase的zk连接地址
        configuration.set("hbase.zookeeper.quorum","node01:2181,node02:2181,node03:2181");
        Connection connection = ConnectionFactory.createConnection(configuration);
        //获取管理员对象
        Admin admin =connection.getAdmin();
        //通过管理员对象创建表
        HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("myuser"));
        //给表添加列族 f1 f2
        HColumnDescriptor f1 = new HColumnDescriptor("f1");
        HColumnDescriptor f2 = new HColumnDescriptor("f2");
        //将两个列族设置到HTableDescriptor里面去
        hTableDescriptor.addFamily(f1);
        hTableDescriptor.addFamily(f2);
        //创建表
        admin.createTable(hTableDescriptor);
        //关闭管理员对象
        admin.close();
        connection.close();
    }

 在shell终端中用list查看

 myuser表已经创建好

通过管理员对象向myuser表中添加rowkey为0001的数据

/*
    * 向表中添加数据*/
    @Test
    public void addDate() throws IOException {
        //获取连接
        Configuration configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.quorum","node01:2181,node02:2181,node03:2181");

        Connection connection = ConnectionFactory.createConnection(configuration);
        //获取表对象
        Table myuser = connection.getTable(TableName.valueOf("myuser"));
        //创建put对象，并指定rowkey
        Put put = new Put("0001".getBytes());
        //数据内容
        put.addColumn("f1".getBytes(),"id".getBytes(), Bytes.toBytes(1));//1是整型
        put.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("张三"));//“张三”是字符串
        put.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(18));
        put.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("地球村"));
        put.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("10086"));
        //插入数据
        myuser.put(put);
        //关闭表
        myuser.close();
    }

在shell终端中通过

 get 'myuser', '0001'

查看myuser表中rowkey为0001的值

向myuser表中插入rowkey从0002到0007列族有f1和f2

/*
    * 插入大量数据*/
    @Test
    public void insertBatchData() throws IOException {

        //获取连接
        Configuration configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.quorum", "node01:2181,node02:2181");
        Connection connection = ConnectionFactory.createConnection(configuration);
        //获取表
        Table myuser = connection.getTable(TableName.valueOf("myuser"));
        //创建put对象，并指定rowkey
        Put put = new Put("0002".getBytes());
        put.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(1));
        put.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("曹操"));
        put.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(30));
        put.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("沛国谯县"));
        put.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("16888888888"));
        put.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("helloworld"));

        Put put2 = new Put("0003".getBytes());
        put2.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(2));
        put2.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("刘备"));
        put2.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(32));
        put2.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put2.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("幽州涿郡涿县"));
        put2.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("17888888888"));
        put2.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("talk is cheap , show me the code"));


        Put put3 = new Put("0004".getBytes());
        put3.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(3));
        put3.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("孙权"));
        put3.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(35));
        put3.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put3.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("下邳"));
        put3.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("12888888888"));
        put3.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("what are you 弄啥嘞！"));

        Put put4 = new Put("0005".getBytes());
        put4.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(4));
        put4.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("诸葛亮"));
        put4.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(28));
        put4.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put4.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("四川隆中"));
        put4.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("14888888888"));
        put4.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("出师表你背了嘛"));

        Put put5 = new Put("0006".getBytes());
        put5.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(5));
        put5.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("司马懿"));
        put5.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(27));
        put5.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put5.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("哪里人有待考究"));
        put5.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("15888888888"));
        put5.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("跟诸葛亮死掐"));


        Put put6 = new Put("0007".getBytes());
        put6.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(5));
        put6.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("xiaobubu—吕布"));
        put6.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(28));
        put6.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put6.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("内蒙人"));
        put6.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("15788888888"));
        put6.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("貂蝉去哪了"));

        List<Put> listPut = new ArrayList<Put>();
        listPut.add(put);
        listPut.add(put2);
        listPut.add(put3);
        listPut.add(put4);
        listPut.add(put5);
        listPut.add(put6);

        myuser.put(listPut);
        //关闭表
        myuser.close();
    }

 在shell终端中通过

scan 'myuser'

查看数据是否写入

 在每次操作前都要获取连接和关闭表，我们创建@BeforeTest和@AfterTest来获取连接和关闭表

/*
    * 初始化操作*/
    @BeforeTest
    public void initTable() throws IOException {
        //获取连接
        configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181");

        connection = ConnectionFactory.createConnection(configuration);
        table = connection.getTable(TableName.valueOf("myuser"));
    }

 

 @AfterTest
    public void closeTable() throws IOException {
        table.close();

    }

后续测试都在这两个测试之间进行

查询操作查询rowkey为0003的人，所有的列，通过打开注释可以查询f1列族下面所有列的值和查询f1列族下面id列的值。

 /*
    * 查询操作查询rowkey为0003的人，所有的列*/
    @Test
    public  void getData() throws IOException {
        Get get = new Get("0003".getBytes());

        //查询f1列族下面所有列的值
        //get.addFamily("f1".getBytes());

        //查询f1列族下面id列的值
        //get.addColumn("f1".getBytes(),"id".getBytes());

        //Result是一个对象，封装了所有的结果数据
        Result result = table.get(get);
        //获取0003这条数据所有的cell值
        List<Cell> cells = result.listCells();
        for (Cell cell : cells) {
            //获取列族名称
            String familyName = Bytes.toString(cell.getFamilyArray(), cell.getFamilyOffset(), cell.getFamilyLength());
            //获取列的名称
            String columnName = Bytes.toString(cell.getQualifierArray(), cell.getQualifierOffset(), cell.getQualifierLength());

            if (familyName.equals("f1") && columnName.equals("id") || columnName.equals("age")) {
                int value = Bytes.toInt(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength());
                System.out.println("列族名为" + familyName + "列名为" + columnName + "列的值为" + value);
            }else {
                String value = Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength());
                System.out.println("列族名为" + familyName + "列名为" + columnName + "列的值为" + value);
            }
        }
    }

查询结果 

 在shell中通过

get 'myuser', '0003'

查询得到

查询rowkey范围是0004到0006

  /*
    * 按照rowkey进行范围值的扫描
    * 扫描rowkey范围是0004到0006*/
    @Test
    public void scanRange() throws IOException {
        Scan scan = new Scan();
        //设置起始和结束的rowkey,范围值扫描包前不包后：只能扫到0005不能扫到0006.没有设置范围将会全局扫描
        scan.setStartRow("0004".getBytes());
        scan.setStopRow("0006".getBytes());
        //返回多条数据结果值都封装在resultScanner里面了
        ResultScanner scanner = table.getScanner(scan);
        for (Result result : scanner){
            List<Cell> cells = result.listCells();
            for (Cell cell : cells){
                String rowkey = Bytes.toString(cell.getRowArray(),cell.getRowOffset(),cell.getRowLength());
                //获取列族名
                String familyName = Bytes.toString(cell.getFamilyArray(),cell.getFamilyOffset(),cell.getFamilyLength());
                //获取列名
                String columnName = Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength());

                if (familyName.equals("f1") && columnName.equals("id") || columnName.equals("age")) {
                    int value = Bytes.toInt(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength());
                    System.out.println("数据的rowkey为" + rowkey + "列族名为" + familyName + "列名为" + columnName + "列的值为" + value);
                }else {
                    String value = Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength());
                    System.out.println("数据的rowkey为" + rowkey + "列族名为" + familyName + "列名为" + columnName + "列的值为" + value);
                }
            }
        }
    }

 

 shell中通过

scan 'myuser', {STARTROW => '0004', ENDROW => '0006'}

查询得到 

 

她现在只能听说
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hbase行键设计（rowkey）实现多条件查询
01-27
HBASE的使用跟业务逻辑有很强的关联性，就像本文里提到的例子使用ElasticSearch更合适。HBASE适合那种使用key-value模式的快速查询，多字段查询还是不适合它。 所以大家如果看本文的话，就全当是加深对hbase过滤器的理解吧，内容概括起来就是实现一个使用位运算的比较器。本文主要内容是通过合理hbase行键（rowkey)设计实现快速的多条件查询，所采用的方法将所有要用于查询中的列经过一些处理后
HBase根据Rowkey批量查询数据JAVA API(一次查多条，返回多个记录)
张伟的专栏
07-06 2521
最近在生产中遇到了一个需求，前台给我多个rowkey的List，要在hbase中查询多个记录（返回给前台list）。在网上也查了很多，不过自己都不太满意，filter的功能有可能查询结果不是准确值，而网上给出的get方法也都是返回一条，scan的话都是返回全部数据，还有用rowkey范围查询的，都跟我的这个应用场景不符啊。无奈，自己找了一个方法，给各位有同样需求的朋友们一个参考。首先创建链接属性：...
最新java操作HBase，别再说自己不会了
最新发布
2401_84007049的博客
05-14 847
切莫死记硬背，小心面试官直接让你出门右拐1000道互联网Java面试题：
Hbase scan通过rowkey条件查询
bug_love的博客
11-27 2万+
public static List> getList(String tableName,String starttime,String stoptime,String uuid,String muuid) throws IOException{ HTablePool pool = new HTablePool(configuration, 1000); uuid = "285
HBase的java代码开发（按照rowkey进行查询获取所有列的所有值）
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
12-18 9425
查询主键rowkey为0003的人 第一步：创建maven工程，导入jar包 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repo...
mysql 多表联合查询_mysql-多表查询
weixin_39700220的博客
12-03 418
SELECT查询不但可以从一张表查询数据，还可以从多张表同时查询数据。查询多张表的语法是：SELECT * FROM 。例如，同时从students表和classes表的“乘积”，即查询数据，可以这么写：这种一次查询两个表的数据，查询的结果也是一个二维表，它是students表和classes表的“乘积”，即students表的每一行与classes表的每一行都两两拼在一起返回。结果集的列数是s...
Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库（往hbase的表中批量插入数据）.pdf
12-16
在本文档中，我们将深入探讨如何使用Java API与...总的来说，通过Java API与HBase交互涉及到配置连接、管理表结构和批量处理数据。理解这些基本操作对于高效地使用HBase至关重要，特别是在大数据处理和分析的场景下。
hbase java api 访问 增加修改删除（一）
11-23
在本文中，我们将深入探讨如何使用HBase的Java API进行数据的增加、修改和删除操作。HBase是一个基于Google Bigtable设计的开源分布式数据库，它属于Apache Hadoop生态系统的一部分，适用于处理大规模数据存储。通过...
hbase数据可视化系统
07-14
3. 查询功能实现：根据RowKey查询数据是HBase的基本操作，通过输入RowKey，后台执行get操作获取对应行数据，并展示在页面上。 4. 表管理：支持HBase的建表和删除操作，这需要调用HBase的Admin API，完成表的创建、...
hbase0.94java源代码
05-28
5. 数据模型和数据访问层：包括RowKey设计、过滤器（Filter）和Scanners，用于高效查询和数据过滤。 6. RPC框架：用于处理客户端请求，实现分布式通信。 通过深入学习HBase 0.94的源代码，开发者可以了解到如何...
rowkey设计案例.zip
03-19
在本案例中，"Equidistribution.java"可能是一个实现RowKey均匀分布的类，通过算法确保每个RowKey被均匀分配到各个Region上，防止数据倾斜。在设计RowKey时，通常会考虑业务需求、时间戳、分区键等要素，使得RowKey...
HBase分页查询的rowkey设计技巧
09-20
用户历史订单列表查询rowkey设计技巧 最左前缀原则
JAVA使用HBase的Rowkey精确批量处理
liaonanfeng88的CSDN博客
12-02 3867
最近有需求说是根据多个RowKey返回结果集： public static Configuration conf = null; public static Connection connection = null; public static Admin admin = null; static { conf = HBaseConfiguration....
Hbase 行键设计（rowkey） 实现多条件查询
Happy_wu的专栏
06-30 3433
转自：http://blog.csdn.net/alphags/article/details/53786777 摘要 本文主要内容是通过合理Hbase 行键（rowkey)设计实现快速的多条件查询，所采用的方法将所有要用于查询中的列经过一些处理后存储在rowkey中，查询时通过rowkey进行查询，提高rowkey的利用率，加快查询速度。行键（rowkey)并不是简单
hbase+java(Scan查询所有、get根据rowkey查询一行或一列数据)
热门推荐
onlyoncelove的博客
04-11 2万+
import java.io.IOException; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Date; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache...
spark实现从hbase中批量查询多个rowKey
weixin_34054931的博客
09-12 2228
需求：参数是多个没有顺序的rowKey，在某张表中批量查询。一个一个rowKey查询的话，效率太低。 实现：需要在scan中添加filter。filter中添加多个rowKey，对需要查询的rowKey进行限制。x代表rowKey。 val rowKeyFilter=new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryCompara...
java hbase 批量查询数据_HBase根据Rowkey批量查询数据JAVA API(一次查多条，返回多个记录)...
weixin_39588419的博客
02-13 558
最近在生产中遇到了一个需求，前台给我多个rowkey的List，要在hbase中查询多个记录(返回给前台list)。在网上也查了很多，不过自己都不太满意，filter的功能有可能查询结果不是准确值，而网上给出的get方法也都是返回一条，scan的话都是返回全部数据，还有用rowkey范围查询的，都跟我的这个应用场景不符啊。无奈，自己找了一个方法，给各位有同样需求的朋友们一个参考。首先创建链接属性：...
HBase是怎样找到某个rowkey
Du939的博客
06-25 2954
【摘要】 本文介绍HBase根据时间戳和查询列信息对HFile做一次过滤，缩小查询范围，查找rowkey的处理过程。 1 定位到某个region内的store HBase的 Hmaster会处理并分配region分区（根据rowKwy），相应的元数据都会存在Zookeeper里面。其中每个region的元数据中 都会存储两个属性：start-key 和 end-key，根据这个区间就能查到rowKey对应在哪个region。 region里再根据不同的列族（C...
hbase rowkey 查询
crazzy_lp的博客
07-07 6797
一、hbase查询方式     hbase的查询实现只提供两种方式： 按指定rowkey获取唯一一条记录：get方法。 按指定条件获取一批记录：scan方法。     实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值的注意： scan可以通过setCaching与setBatch方法提高速度（以空间换时间） scan可以通过setStartRow与setE...
如何利用编程将文件数据读入到Hbase表中
06-01
下面是一个 Java 语言示例程序，可以将文件数据读入到 HBase 表中： ```java import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import org.apache.hadoop.conf....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值