Hbase高手之路 -- 第五章 -- HBase的Java API编程

最新推荐文章于 2024-10-06 02:59:46 发布
最新推荐文章于 2024-10-06 02:59:46 发布
阅读量3.8k 收藏 88
点赞数 8
分类专栏： hbase hadoop 大数据 文章标签： hbase java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kc44601/article/details/124514119
版权
hadoop 同时被 3 个专栏收录
17 篇文章 3 订阅
订阅专栏
hbase
8 篇文章 3 订阅
订阅专栏
大数据
8 篇文章 0 订阅
订阅专栏
本文介绍了如何使用HBase的Java API进行实战操作，包括创建名为water_bill的表，添加列簇info，删除表，向表中插入姓名和地址数据，查询特定数据，以及实现2020年6月用水量查询。同时，文章还展示了数据导入、导出的流程，以及在遇到数值型数据乱码时的解决方案。
摘要由CSDN通过智能技术生成

Hbase高手之路 – 第五章 – HBase的Java API编程

一、 需求与数据集

某自来水公司，需要存储大量的缴费明细数据，以下截取了缴费明细的一部分内容：
在这里插入图片描述
因为缴费明细的数据记录非常庞大，该公司的信息部门决定使用hbase来存储这些数据，并且可以使用java来访问这些数据。

二、 准备工作

idea2021.3.3 专业版 (社区版也可以)

1. 下载安装idea

在这里插入图片描述

2. 配置国内的maven镜像库

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

3. 创建一个maven工程

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

4. 修改pom文件，导入相关的依赖

在这里插入图片描述

5. 复制HBase的配置文件hbase-site.xml到resources目录中

先导出到本地计算机

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

6. 创建包结构

在这里插入图片描述
在这里插入图片描述

7. 创建hbase连接类及管理对象

在这里插入图片描述

public class HbaseConnect {
    public static void main(String[] args){
        //1、创建hbase的配置
        Configuration configuration = HBaseConfiguration.create();
        //2、创建hbase的连接
        Connection connection;

        {
            try {
                connection = ConnectionFactory.createConnection(configuration);
                System.out.println(connection);
                //3、创建admin对象
                Admin admin = connection.getAdmin();
                System.out.println(admin);
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

}

在这里插入图片描述

三、 案例一、使用java api创建hbase的表

创建一个名为water_bill的表，包含一个列簇info。

1. 编写代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;

public class HbaseJavaAPIDemo2 {
    public static void main(String[] args) throws IOException {
        Configuration configuration = HBaseConfiguration.create();
        // 2.	使用ConnectionFactory.createConnection()创建Hbase连接
        Connection connection = ConnectionFactory.createConnection(configuration);
        Admin admin = null;
        {
            try {
                //通过工厂模式，根据配置来创建连接
                connection = ConnectionFactory.createConnection(configuration);
                System.out.println(connection);
                //3.创建admin对象
                admin = connection.getAdmin();
                System.out.println(admin);
                //4.创建water_bill的表，包含一个列簇info
                //定义表名
                TableName tableName = TableName.valueOf("WATER_BILL3");
                // 1) 构建表描述构建器构建器模式
                TableDescriptorBuilder tableDescriptorBuilder = TableDescriptorBuilder.newBuilder(tableName);
                // 2)构建列簇描述构建器
                ColumnFamilyDescriptorBuilder columnFamilyDescriptorBuilder = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("info"));
                // 3)定义列簇描述对象
                ColumnFamilyDescriptor columnFamilyDescriptor = columnFamilyDescriptorBuilder.build();
                // 4)表描述构建器和列簇描述对象建立关系
                tableDescriptorBuilder.setColumnFamily(columnFamilyDescriptor);
                // 5)定义表描述对象
                TableDescriptor tableDescriptor = tableDescriptorBuilder.build();
                // 6)创建表
                admin.createTable(tableDescriptor);
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                assert admin != null;
                admin.close();
                connection.close();
            }
        }
    }
}

2. 运行

在这里插入图片描述

3. 查看结果

在这里插入图片描述

四、 案例二：使用java api删除表

删除刚刚创建的表

1. 编写代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;


public class HbaseJavaAPIMain {
    public static void main(String[] args) throws IOException {
        Admin admin = getAdmin();
        //调用删除表的方法
        boolean result = deleteTable(admin,"WATER_BILL");
        if(result) {
            System.out.println("删除成功");
        }else {
            System.out.println("表不存在");
        }
        //调用插入数据的方法
//        putTable(admin.getConnection(),"WATER_BILL3","4944191","info","name","张三");
//        关闭admin
        admin.close();
    }
    public static Admin getAdmin() {
        //1.创建hbase配置
        Configuration configuration = HBaseConfiguration.create();
        // 2.	使用ConnectionFactory.createConnection()创建Hbase连接
        Connection connection;
        Admin admin =null;
        try {
            //通过工厂模式，根据配置来创建连接
            connection = ConnectionFactory.createConnection(configuration);
            //创建admin对象
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
        return admin;
    }

    /**
     * 向表中插入数据
     * @param connection
     * @param tableName
     * @param haha
     * @param columnFamily
     * @param column
     * @param value
     * @throws IOException
     */
    public static void putTable(Connection connection,String tableName,String haha,String columnFamily,String column,String value) throws IOException {
        //获取table对象
        Table table = connection.getTable(TableName.valueOf(tableName));
        //根据 rowkey 获取Put对象
        Put put = new Put(Bytes.toBytes(haha));
        //添加姓名列
        put.addColumn(Bytes.toBytes(columnFamily),Bytes.toBytes(column),Bytes.toBytes(value));
        //插入数据
        table.put(put);
        //关闭table
        table.close();

    }

    /**
     * 删除表
     * @param admin
     * @param name
     * @return
     * @throws IOException
     */
    public static boolean deleteTable(Admin admin,String name)throws IOException {
        //定义表名
        TableName tableName = TableName.valueOf(name);
        //判断表是否存在
        if (admin.tableExists(tableName)) {
            //禁用表
            admin.disableTable(tableName);
            //删除表
            admin.deleteTable(tableName);
            return  true;
        } else {
            return false;
        }

    }
}

在这里插入图片描述

2. 查看结果

在这里插入图片描述

五、 案例三：向创建的表中插入数据

向WATER_BILL中插入姓名列的数据

1. 编写代码

在这里插入图片描述

2. 调用方法

在这里插入图片描述

3. 查看结果

在这里插入图片描述

六、 案例：插入其他列的数据

插入地址列的数据

1. 编写代码

在这里插入图片描述

2. 调用方法

在这里插入图片描述

3. 查看结果

在这里插入图片描述

七、 案例四：查看一条数据

查询显示rowkey为4944191的所有列的数据

1. 编写方法

(1) 获取某列的值

在这里插入图片描述

(2) 获取某行的数据

在这里插入图片描述

2. 调用方法

在这里插入图片描述

八、 案例五：导入数据

1. 需求

有一份10w条记录的抄表数据文件，需要将其导入hbase中
在这里插入图片描述

2. import job导入大量数据

在hbase中，有一个import的MR作业，可以专门用来将数据导入到hbase中
用法：
hbase org.apache.hadoop.hbase.mapreduce.import 表名 hdfs 数据文件路径

3. 上传数据到hdfs

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

4. 导入数据

(1) 启动yarn
(2) 创建表

在这里插入图片描述

(3) 运行导入命令
hbase org.apache.hadoop.hbase.mapreduce.Import WATER_BILL /water_bill/

运行结果如下

在这里插入图片描述

(4) 查看数据

在这里插入图片描述

(5) count计数

在这里插入图片描述

(6) mapreduce计数
hbase org.apache.hadoop.hbase.mapreduce.RowCounter "WATER_BILL"

在这里插入图片描述

九、 案例六：查询2020年6月所有用户的用水量

1. 需求分析

在hbase中用scan+filter实现过滤查询。2020年6月份其实就是从2020年6月1号到2020年6月30日的所有抄表数据

2. 编写代码

public static void queryTable(Connection connection,String tableName,String columnFamily, String column,String startValue,String endValue)throws IOException {
        //1.获取Table
        Table table = connection.getTable(TableName.valueOf(tableName));
        //2.构建scan对象
        Scan scan = new Scan();
        //3.1构建过滤器
        //构建日期范围的过滤器
//        构建开始日期的过滤器
        SingleColumnValueFilter startDateFilter = new SingleColumnValueFilter(Bytes.toBytes(columnFamily),Bytes.toBytes(column),
                CompareOperator.GREATER_OR_EQUAL,Bytes.toBytes(startValue));
        //构建结束日期的过滤器
        SingleColumnValueFilter endDateFilter = new SingleColumnValueFilter(Bytes.toBytes(columnFamily),Bytes.toBytes(column),
                CompareOperator.LESS_OR_EQUAL,Bytes.toBytes(endValue));
        //3.2构建过滤器列表
        FilterList filterlist = new FilterList(FilterList.Operator.MUST_PASS_ALL,startDateFilter,endDateFilter);
        //4.构建扫描器
        scan.setFilter(filterlist);
        //5.执行scan扫描操作
        ResultScanner resultScanner = table.getScanner(scan);
        //6.迭代打印result
        for(Result result:resultScanner){
            // 6.1打印rowkey
            System.out.println("rowkey=>" + Bytes.toString(result.getRow()));
            System.out.println("-------------------------------------------");
            // 6.2构建单元格列表
            List<Cell> cells = result.listCells();
            for(Cell cell:cells){
                // 6.3 打印列簇名
                System.out.print(Bytes.toString(cell.getFamilyArray(),cell.getFamilyOffset(),cell.getFamilyLength()));
                //打印列名
                String columnName = Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength());
                System.out.print(":" + columnName);
//                System.out.print(":" + Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength()));
                //解决数值型乱码打印值
                //判断是否为数值型列
                if (columnName.equals("NUM_CURRENT") || columnName.equals("NUM_PREVIOUS")
                        || columnName.equals("NUM_USAGE") || columnName.equals("TOTAL_MONEY")) {
                    //打印数值型
                    System.out.println("=>" + Bytes.toDouble(cell.getValueArray(),cell.getValueOffset()));
                } else {
                    //打印字符串值
                    System.out.println("=>" + Bytes.toString(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength()));
                }
                //打印值
//                System.out.println("=>" + Bytes.toString(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength()));
            }
            System.out.println("-------------------------------------------");
        }
        //关闭资源
        resultScanner.close();
        table.close();
    }


}

在这里插入图片描述

3. 调用方法

在这里插入图片描述

4. 查看结果

在这里插入图片描述

5. 代码改进

在这里插入图片描述

改进后的结果
在这里插入图片描述

6. 解决数值型数据显示乱码的问题

打印显示字符串数据正常，但是如果hbase存储的是int、double、float等数值型数据时，显示就会乱码，解决的方法就是判断是否是数值型数据，如果是，则进行相应的转化。

(1) 代码改进

在这里插入图片描述

(2) 显示结果

在这里插入图片描述

乱码问题已经解决了

十、 案例七：Export Job导出数据

用法：

hbase org.apache.hadoop.hbase.mapreduce.Export 表名 路径

在这里插入图片描述
在这里插入图片描述
在webUI上查看结果

在这里插入图片描述

落空空。
关注
专栏目录
HBase Java API编程实验
qq_35447918的博客
05-26 1816
HBase Java API 编程实验: 第1个HBase Java程序： 1)启动VirtualBox虚拟机HBaes伪分布式，依次执行执行start-dfs.sh 脚本启动HDFS，再执行start-hbase.sh 脚本启动HBase 2）打开桌面图标"eclipse.exe",启动Java IDE（集成开发环境）Eclipse，查看Eclipse界面的左边栏，已经存在一个项目testHBase 3）Linux终端执行HBase Shell命令，进入HBase Shell命令行终端，执行list命
（简单易懂）hbase——JavaApi
weixin_58184269的博客
04-10 2792
批量导入本机数据student.txt。
HBase Java API
bangci6459的博客
09-13 577
　　几个相关类与HBase数据模型之间的对应关系 java类 HBase数据模型 HBaseAdmin 数据库（DataBase) HBaseConfiguration HTable 表（Table) HTableDescriptor 列族（Column Family) Put 列修饰符（Column Qualif...
HBase Java API编程-学习记录
最新发布
m0_73641772的博客
10-06 624
输出日志的依赖（刷新完成不飘红即为引入成功）命令启动hdfs文件系统和hbase服务，默认端口：16030），验证环境正常。的依赖（刷新完成不飘红即为引入成功）下出现如下图所示的进程即为正确。HBase web页面如下图所示。
HBase Java Api
qq_42933029的博客
11-29 949
任务目标 1.了解HBase语言的基本语法 2.了解HBase开发的原理 3.了解HBase Java API的使用 相关知识 HBase与Hadoop一样，都是用Java编写的，所以HBase对Java支持是必须的，HBase Java API核心类介绍如下： 1.HBaseConfiguration类 HBaseConfiguration是每一个HBase Client都会使用到的对象，它代表...
HBase编程api介绍
VLTIC的专栏
02-08 5098
HBaseConfiguration是每一个hbase client都会使用到的对象，它代表的是HBase配置信息。它有两种构造方式： public HBaseConfiguration() public HBaseConfiguration(final Configuration c) 默认的构造方式会尝试从hbase-default.xml和hbase-site.xml中读取
Hbase JAVA API 编程
SimpleSimpleSimples的博客
05-04 501
1.hbase的API编程 1.1进行kerberos认证获取连接 /** * 进行kerberos认证获取连接 * @return * @throws IOException * @throws InterruptedException */ private static Connection getConnection() throws IOException, ...
hbase-connectors：Apache HBase连接器
02-05
- 它们通常提供API，简化了与HBase表的交互，支持多种编程语言，如Java、Scala等。 2. **Java API (JDBC & HBase Client)**： - Java API是HBase的基础接口，包括HBaseAdmin、HTable、HConnection等类，用于管理...
HBase Java API编程实训
qq_35447918的博客
04-25 1052
HBase Java API应用编程示例 本节主要介绍HBase Java API应用编程示例，演示如何准备HBase Java API的编程环境，给出了基于HBase Java API的多个应用编程示例。这些编程示例对应了HBase Shell命令行终端常见的操作命令，例如list命令、desc命令、create命令、alter命令、put命令、get命令、scan命令和delete命令等。 1 HBase Java API编程环境准备 准备HBase Java API编程工具 1）开发工具
大数据技术原理与应用-第四章-分布式数据库HBase（2016年1月28日版本）.ppt
06-04
【大数据技术原理与应用-第四章-分布式数据库HBase（2016年1月28日版本）】 本章主要介绍了分布式数据库HBase的相关知识，包括其起源、概念、特性以及与传统关系数据库的差异。HBase是Google BigTable的开源实现，...
Hbase javaAPI编程
为你封疆的博客
03-10 348
这里主要是针对Hbase的java Api编程做一个记录。以便以后复习回顾。 import java.io.IOException; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; import org.apache.commons....
Hbase Java API
11-20
HBase是Hadoop的数据库，能够对大数据提供随机、实时读写访问。他是开源的，分布式的，多版本的，面向列的，存储模型。
HBase新版本Java API编程实战及基本操作方法封装
热门推荐
至道
05-14 2万+
我的HBase版本是0.98 首先说明一下，如果用eclipse操作hbase时，如果报Unknown host错误，找不到主机，是因为你没有配IP地址的映射 方法是 找到你的系统盘里面的C:\Windows\System32\drivers\etc下的hosts文件，打开，增加一个映射 加一个映射 192.168.52.140 master话不多说，直接看代码，注释很详细 import
HBase高手之路5—HBase的JavaAPI编程
W_chuanqi的博客
04-10 3599
关闭所有的项目，在Idea的启动页。
HBase Java API编程：Demo程序实验
qq_35447918的博客
04-03 1205
HBase JavaAPI编程实验 编程环境： 开发工具使用Eclipse，简单好用利于初学者 方式一（必学）：创建一个普通Java Project，直接导入hbase-1.2.0-cdh5.7.0.tar.gz压缩包的lib子目录中与HBaseAPI编程有关的所有jar包，建议初学者使用 操作步骤：EClipse项目=》右键菜单=》Build Path =》Configure Bui...
HBase Java API 使用示例
vinsuan93的专栏
05-02 1546
在使用HBase Java API 之前，大家首先要了解HBase Java API类，可参考博客：http://www.cnblogs.com/ggjucheng/p/3380267.html 几个相关类与HBase数据模型之间的对应关系 java类 HBase数据模型 HBaseAdmin 数据库（DataBase)
HBase Java API编程实践
actionbean的博客
11-27 2641
在弹出的“JAR Selection”界面中（如下图所示），进入到“/usr/local/hbase/lib”目录，选中该目录下的所有jar文件，一共有111个jar文件（注意，不要选中ruby目录），然后，点击界面底部的“确定”按钮。然后，如下图所示，点击界面中的运行图标右侧的“倒三角”，在弹出的菜单中选择“Run As”，再在弹出的菜单中点击“1 Java Application”，开始运行程序。然后可以看到jar包都添加进去了，再点击界面（如下图所示）底部的“Finish”按钮。
Hbase API基础编程
weixin_64443786的博客
05-13 158
hbase
HBase Java API访问方式详解
资源摘要信息: "HBase访问方式之Java API" 1. HBase简介 HBase是Apache Software Foundation旗下的一个开源项目，它是一个分布式的、可扩展的、非关系型的BigTable数据库模型的实现。HBase运行在Hadoop文件系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值