hbase1.x API操作

最新推荐文章于 2021-03-19 09:34:36 发布
最新推荐文章于 2021-03-19 09:34:36 发布
阅读量455 收藏 6
点赞数 1
分类专栏： hbase 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42881421/article/details/108987697
版权

环境

jdk1.8：Linux环境和Windows环境均需要

Linux环境先安装好hbase1.x，如果还没安装hbase，可点击这里安装hbase

Windows环境下安装好Maven3.3 +

Windows环境下安装好IDEA或Eclipse，本文使用IDEA2018

 

准备工作

设置idea支持lambda格式

File-->Project Structure-->Modules-->Language level选8 - Lambdas, type annotations etc.

File-->Settings-->Build-->Compiler-->Java Compiler, largest bytecode version选择8

 

maven工程

1.用IDEA新建maven工程

2.修改pom.xml添加hbase客户端依赖，版本需要与服务器安装的hbase版本一致。

    <dependencies>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.3.1</version>
        </dependency>
    </dependencies>

3.配置log4j: 在resources目录下新建log4j.properties文件

### set log levels ###
log4j.rootLogger = INFO,Console
​
###  输出到控制台  ###
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.Target=System.out
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=[%d{yy/MM/dd HH:mm:ss:SSS}]-%l:%m%n

 

API操作

服务端先打开hadoop和hbase服务

start-all.sh
start-hbase.sh

IDEA项目目录结构：

创建表

HBaseUtils.java

package top.jipson;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.HBaseAdmin;

import java.io.IOException;
import java.util.List;

/**
 * HBASE工具类
 */
public class HBaseUtils {
    private static Connection connection;

    static {
        Configuration configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.property.clientPort","2181");
        configuration.set("hbase.zookeeper.quorum","192.168.134.128");//注意修改ip为hbase所在机器的ip或主机名
        try {
            connection = ConnectionFactory.createConnection(configuration);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

     /**
     * 创建表
     * @param tableName
     * @param columnFamilies
     * @return
     */
    public static boolean createTable(String tableName, List<String> columnFamilies){
        try {
            HBaseAdmin  admin = (HBaseAdmin)connection.getAdmin();
            if(admin.tableExists(tableName)){
                return false;
            }
            HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf(tableName));
            // 注意设置ide支持lambda格式
            columnFamilies.forEach(columnFamily -> {
                HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(columnFamily);
                hColumnDescriptor.setMaxVersions(1);
                hTableDescriptor.addFamily(hColumnDescriptor);
            });
            admin.createTable(hTableDescriptor);

        } catch (IOException e) {
            e.printStackTrace();
        }
        return true;
    }
}

提示：configuration.set("hbase.zookeeper.quorum","192.168.134.128");//注意修改ip为hbase所在机器的ip或主机名

 

测试：

HBaseUtilsTest.java

package top.jipson;

import org.junit.Test;

import java.util.Arrays;
import java.util.List;

/**
 * HBASE测试类
 */
public class HBaseUtilsTest {
    private static final String TABLE_NAME = "class1";
    private static final String TEACHER = "teacher1";
    private static final String STUDENT = "student1";

    @Test
    public void createTable(){
        List<String> columnFamilies = Arrays.asList(TEACHER, STUDENT);
        boolean table = HBaseUtils.createTable(TABLE_NAME, columnFamilies);
        System.out.println("表创建结果："+ table);
    }
}

运行createTable方法，看到控制台数据表创建结果为true

进入hbase shell命令查看

能看到class1表，说明API创建表成功了。

 

插入表数据

HBaseUtils.java

    /**
     * 插入数据
     * @param tableName
     * @param rowKey
     * @param columnFamilyName
     * @param pairList
     * @return
     */
    public static boolean putRow(String tableName, String rowKey, String columnFamilyName, List<Pair<String, String>> pairList){
        try {
            Table table = connection.getTable(TableName.valueOf(tableName));
            Put put = new Put(Bytes.toBytes(rowKey));
            pairList.forEach(pair -> put.addColumn(Bytes.toBytes(columnFamilyName), Bytes.toBytes(pair.getFirst()), Bytes.toBytes(pair.getSecond())));
            table.put(put);
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return true;
    }

HBaseUtilsTest.java

    /**
     * 测试插入数据
     */
    @Test
    public void insData(){
        List<Pair<String, String>> pairs1 = Arrays.asList(
                new Pair<>("name", "Jack"),
                new Pair<>("age", "19"),
                new Pair<>("gender","2"));
        HBaseUtils.putRow(TABLE_NAME, "rowkey1", STUDENT, pairs1);
    }

这里如果需要更多测试数据，可以修改测试数据，多次执行得到多条数据，例如

HBaseUtilsTest.java

    /**
     * 测试插入数据
     */
    @Test
    public void insData(){
        List<Pair<String, String>> pairs1 = Arrays.asList(
                new Pair<>("name", "Rose"),
                new Pair<>("age", "18"),
                new Pair<>("gender","1"));
        HBaseUtils.putRow(TABLE_NAME, "rowkey2", STUDENT, pairs1);
    }

 

获取一行数据

HBaseUtils.java

	/**
     * 获取表的一行数据
     * @param tableName
     * @param rowKey
     * @return
     */
    public static Result getRow(String tableName, String rowKey){
        try {
            Table table = connection.getTable(TableName.valueOf(tableName));
            Get get = new Get(Bytes.toBytes(rowKey));
            return table.get(get);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

HBaseUtilsTest.java

@Test
    public void getRow(){
        Result rowkey1 = HBaseUtils.getRow(TABLE_NAME, "rowkey1");
        if(rowkey1 != null){
            System.out.println(Bytes.toString(
                    rowkey1.getValue(
                            Bytes.toBytes(STUDENT),
                            Bytes.toBytes("name")
                    )));
        }
    }

 

获取某行某列族某列的值

HBaseUtils.java

    /**
     * 获取指定行指定列 (cell) 的最新版本的数据
     * @param tableName
     * @param rowKey
     * @param columnFamily
     * @param qualifier 列标识，实际就是column（具体某列）
     * @return
     */
    public static String getCell(String tableName, String rowKey, String columnFamily, String qualifier){
        try {
            Table table = connection.getTable(TableName.valueOf(tableName));
            Get get = new Get(Bytes.toBytes(rowKey));
            if(!get.isCheckExistenceOnly()){
                get.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier));
                Result result = table.get(get);
                byte[] resultValue = result.getValue(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier));
                return Bytes.toString(resultValue);
            }else {
                return null;
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

HBaseUtilsTest.java

	@Test
    public void getCell(){
        String cell = HBaseUtils.getCell(TABLE_NAME, "rowkey2", STUDENT, "age");
        System.out.println("cell age:" + cell);
    }

 

查看表内容

HBaseUtils.java

    /**
     * 检索全表
     * @param tableName
     * @return
     */
    public static ResultScanner getScanner(String tableName){
        try {
            Table table = connection.getTable(TableName.valueOf(tableName));
            Scan scan = new Scan();
            return table.getScanner(scan);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

HBaseUtilsTest.java

    @Test
    public void getScanner(){
        ResultScanner scanner = HBaseUtils.getScanner(TABLE_NAME);
        if(scanner != null){
            scanner.forEach(result -> System.out.println(Bytes.toString(result.getRow())+"->"+Bytes.toString(result.getValue(Bytes.toBytes(STUDENT),Bytes.toBytes("name")))));
            scanner.close();
        }
    }

 

按条件过滤器检索表

HBaseUtils.java

    /**
     * 按条件过滤器检索表
     * @param tableName
     * @param filterList
     * @return
     */
    public static ResultScanner getScanner(String tableName, FilterList filterList){
        try {
            Table table = connection.getTable(TableName.valueOf(tableName));
            Scan scan = new Scan();
            scan.setFilter(filterList);
            return table.getScanner(scan);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

HBaseUtilsTest.java

    @Test
    public void getScannerWithFilter(){
        FilterList filterList = new FilterList(FilterList.Operator.MUST_PASS_ALL);
        SingleColumnValueFilter nameFilter = new SingleColumnValueFilter(Bytes.toBytes(STUDENT),
                Bytes.toBytes("name"), CompareFilter.CompareOp.EQUAL, Bytes.toBytes("Jack"));
        filterList.addFilter(nameFilter);
        ResultScanner scanner = HBaseUtils.getScanner(TABLE_NAME, filterList);
        if(scanner != null){
            scanner.forEach(result -> System.out.println(Bytes.toString(result.getRow())+"->"+Bytes.toString(result.getValue(Bytes.toBytes(STUDENT),Bytes.toBytes("name")))));
            scanner.close();
        }
    }

 

包含起始行和结束行的查询

HBaseUtils.java

/**
     * 条件查询
     * @param tableName
     * @param startRowKey 起始RowKey
     * @param endRowKey 终止RowKey
     * @param filterList
     * @return
     */
    public static ResultScanner getScanner(String tableName, String startRowKey, String endRowKey,FilterList filterList){
        try {
            Table table = connection.getTable(TableName.valueOf(tableName));
            Scan scan = new Scan();
            scan.setStartRow(Bytes.toBytes(startRowKey));
            scan.setStopRow(Bytes.toBytes(endRowKey));
            scan.setFilter(filterList);
            return table.getScanner(scan);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

HBaseUtilsTest.java

 @Test
    public void getScannerWithStartEndRowFilter(){
        FilterList filterList = new FilterList(FilterList.Operator.MUST_PASS_ALL);
        SingleColumnValueFilter nameFilter = new SingleColumnValueFilter(Bytes.toBytes(STUDENT),
                Bytes.toBytes("name"), CompareFilter.CompareOp.EQUAL, Bytes.toBytes("Tom"));
        filterList.addFilter(nameFilter);
        // 包含起始行，不包含结束行
        ResultScanner scanner = HBaseUtils.getScanner(TABLE_NAME, "rowkey1", "rowkey2",filterList);
        if(scanner != null){
            scanner.forEach(result -> System.out.println(Bytes.toString(result.getRow())+"->"+Bytes.toString(result.getValue(Bytes.toBytes(STUDENT),Bytes.toBytes("name")))));
            scanner.close();
        }
    }

 

按rowkey来删除行数据

HBaseUtils.java

    /**
     * 按rowKey来删除行数据
     * @param tableName
     * @param rowKey
     * @return
     */
    public static boolean deleteRow(String tableName, String rowKey){
        try {
            Table table = connection.getTable(TableName.valueOf(tableName));
            Delete delete = new Delete(Bytes.toBytes(rowKey));
            table.delete(delete);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return true;
    }

HBaseUtilsTest.java

    @Test
    public void deleteRow(){
        boolean res = HBaseUtils.deleteRow(TABLE_NAME, "rowkey2");
        System.out.println("删除结果："+ res);
    }

 

删除某行某列族某列的数据

HBaseUtils.java

    /**
     * 删除某行某列族某列的数据
     * @param tableName
     * @param rowKey
     * @param familyName
     * @param qualifier
     * @return
     */
    public static boolean deleteColumn(String tableName, String rowKey, String familyName, String qualifier){
        try {
            Table table = connection.getTable(TableName.valueOf(tableName));
            Delete delete = new Delete(Bytes.toBytes(rowKey));
            delete.addColumn(Bytes.toBytes(familyName), Bytes.toBytes(qualifier));
            table.delete(delete);
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return true;
    }

HBaseUtilsTest.java

    @Test
    public void deleteColumn(){
        boolean b = HBaseUtils.deleteColumn(TABLE_NAME, "rowkey1", STUDENT, "age");
        System.out.println("删除结果："+ b);
    }

 

删除表

HBaseUtils.java

	/**
     * 删除表
     * @param tableName
     * @return
     */
    public static boolean deleteTable(String tableName){
        try {
            HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
            admin.disableTable(tableName);//禁用表
            admin.deleteTable(tableName);//删除表
        } catch (IOException e) {
            e.printStackTrace();
        }
        return true;
    }

HBaseUtilsTest.java

	/**
     * 测试删除表
     */
    @Test
    public void deleteTable(){
        boolean res = HBaseUtils.deleteTable(TABLE_NAME);
        System.out.println("删除结果："+res);
    }

 

参考：https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hbase_Java_API.md

 

 

完成！enjoy it!

 

 

Hadoop_Liang
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase1.x 跟2.x比较.docx
11-06
hbase1.x 跟2.x比较.docx
Spark-hbase实战.zip
11-01
本实战案例将展示如何利用Spark接收来自Kafka的数据，解析后存入HBase实例，而不是采用传统的Kafka API和HBase API，而是通过Hadoop的方式来实现这一过程。 首先，我们需要理解Spark的核心组件。Spark主要由Spark ...
五十二、HBase的API操作
象在舞的技术专栏
03-19 1406
前几篇文章我们介绍了HBase的原理以及安装部署、命令行操作等知识，本文我们来看一下HBase的API操作。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~ 目录 一、环境准备 二、HBaseAPI操作 2.1获取HBase连接对象 2.2判断命名空间是否存在 2.3判断HBase中是否存在某张表 2.4创建表 2.5操作表 2.6删除表 2.7删除表数据 三、完整代码 一、环境准备 首先需要新建工程并导入相关的依赖，如下所示： <de...
HBase 1.X API
weixin_42821133的博客
05-14 158
package com.enda; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellScanner; import org.apache.hadoop.hbase.H
hbase1.X的部分api改变（慢慢更新）
qq_26479655的博客
07-25 332
以下为编码过程中出现的一些api的改变，将持续更新。Admin/** * 0.X edition * */ // HBaseAdmin admin = new HBaseAdmin(conf); // HTableDescriptor descriptor = new HTableDescriptor(); /**
HBase1.0.x JAVA 实例
lwb314的专栏
07-23 1575
HBase1.0.x 最少jar包依赖 图片里的jar包是我根据下边的程序一个一个找的， 一直想找个最小的jar包依赖，一整就用maven把所有包都下下来了，好几百M，有点太大了，而我部署项目的机器上又没有hbase所以我想找个最小的jar包依赖。 之后是个代码例子，网上搜到的大部分代码都是Hbase0.98版的，有些类已经@Deprecated了，虽然能用但是看着特别不爽，从网
Hbase-Client 1.x新版API操作大全
weixin_33877092的博客
01-30 104
2019独角兽企业重金招聘Python工程师标准>>> ...
hbase-1.3.0.tar.gz
12-17
HBase依赖于HDFS来持久化数据，Hadoop 2.x版本引入了YARN（Yet Another Resource Negotiator），优化了资源管理，使得HBase可以在多任务并行运行的环境中高效地处理数据。 Hive 2.3.6是基于Hadoop的数据仓库工具，...
hbase-0.98.12.1-hadoop2-bin.tar.gz
08-24
1. 创建表：使用HBase Shell或者Java API创建表，定义列族和列。 2. 插入数据：通过Put操作将数据写入表中。 3. 查询数据：使用Get、Scan等方式查询数据，支持多种过滤条件。 4. 表管理：包括增删改表、Region...
hbase1.2.0and2.0.5.rar
06-02
1. Region服务器：存储HBase表的物理分区，负责数据的读写操作。 2. ZooKeeper：协调集群，管理Region服务器的元数据，处理故障转移。 3. Master服务器：负责Region的分配和负载均衡，以及全局的表管理和元数据维护...
HBase原理之HBase Region合并解析
weixin_39611553的博客
09-24 2618
1.概述 HBase表的基本单位是Region，日常调用HBase API操作一个表时，交互的数据也会以Region的形式进行呈现。前面介绍过HBase Region切分策略原理，一个表可以有若干个Region，本文主要介绍Region合并的一些问题和解决方法。   2.内容 在分析合并Region之前，我们先来了解一下Region的体系结构，如下图所示： 从图中可知，能够总结以下知...
HBase API 基础操作
weixin_30940783的博客
09-12 96
对于数据操作，HBase支持四类主要的数据操作，分别是： Put ：增加一行，修改一行 Delete ：删除一行，删除指定列族，删除指定column的多个版本，删除指定column的制定版本等 Get ：获取指定行的所有信息，获取指定行和指定列族的所有colunm，获取指定column，获取指定column的几个版本， 获取指定column的指定版本等 Scan ：获取所有行，获取指...
JavaAPI操作阿里云Hbase数据库教程
weixin_45156610的博客
06-18 1207
第一点：创建maven项目，在maven中引入依赖 Maven依赖 HBase 1.x版本客户端对应1.x版本的HBase集群。 HBase 2.x版本客户端对应2.x版本的HBase集群。 HBase 1.x版本 <dependency> <groupId>com.aliyun.hbase</groupId> <artifactId>alihbase-client</artifactId> <version>1.1.13&
Hbase 2.1 Java API获取region详细信息
weixin_42450619的博客
04-07 1846
背景 最近想开发一个hbase的region合并和切割的小功能，百度了很久都没有java api获取region storeFileSize大小的案例，只能自己搞了。 网上看到了一个帖子写hbase table region 按条件自动批量合并的 https://blog.csdn.net/microGP/article/details/89476951 不过他的region大小从hdfs获取的，...
hbase2.0 vs hbase1.x 延时比较
weixin_34152820的博客
05-13 173
背景 hbase2.0已经正式发布，对比之前1.x版本，2.0在读写链路上做了完善的优化，offheap、netty rpc等，这里做个小测试实验对比1.x和2.0在读写上的延时情况。本测试基于特定测试环境与软件版本得到的结果，仅供参考。 测试介绍 测试环境 ​ HBase2.0集群，2副本DataNode，单regionserver，便...
HBase 1.1.2 Java 客户端 api(hbase 1.0 增删改查，建表、删表等)
程序员成长软技能
09-28 8978
HBase 1.0后版本，java api 较之前版本变化比较大，写一demo 供大家擦考
HBase 系列（六）——HBase Java API 的基本使用
weixin_30362083的博客
08-25 362
一、简述 截至到目前 (2019.04)，HBase 有两个主要的版本，分别是 1.x 和 2.x ，两个版本的 Java API 有所不同，1.x 中某些方法在 2.x 中被标识为 @deprecated 过时。所以下面关于 API 的样例，我会分别给出 1.x 和 2.x 两个版本。完整的代码见本仓库： Java API 1.x Examples Java API 2.x Exa...
Hbase1.3.x单机版安装
奋斗的小鸟专栏
08-15 1457
  Hbase1.x单机版安装 参考文档： http://blog.csdn.net/it_taojingzhan/article/details/51789739 http://blog.csdn.net/blackenn/article/details/52234420 http://blog.csdn.net/wtq1993/article/details/53088968 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值