Hbase的Shell客户端和Java客户端入门

最新推荐文章于 2022-12-29 16:39:46 发布
最新推荐文章于 2022-12-29 16:39:46 发布
阅读量234 收藏 2
点赞数 4
分类专栏： Hbase 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46011754/article/details/110084288
版权

Hbase的shell客户端操作

Group name: general 一般的命令

processlist : 进程列表
在这里插入图片描述

status : 集群状态

在这里插入图片描述

table_help : 表的帮助(X)

version : hbase的版本

在这里插入图片描述

whoami : 当前用户是谁
在这里插入图片描述

Group name: ddl 数据定义语言

  1. alter : 修改表结构(列族 列族属性 多个列族)
  1. 修改列族属性

在这里插入图片描述
2) 添加列族

在这里插入图片描述
3) 删除列族

在这里插入图片描述

  1. create, 建表 预分region

在这里插入图片描述

  1. describe, 表信息

在这里插入图片描述

  1. disable, 禁用 disable_all, 禁用多张表

在这里插入图片描述
2. is_disabled, 是否是禁用

在这里插入图片描述
3. enable, 启用表 enable_all 启用多张表

在这里插入图片描述
4. is_enabled, 是否是启用

在这里插入图片描述
5. drop, 删除表 drop_all, 删除多张表 disable_all ‘tb.’ — drop_all 'tb.’(先禁用再删除)

在这里插入图片描述
(因为只禁用了两张表所以有一个表没有成功删除)
6. list_regions, 列出一个表的所有region

在这里插入图片描述

  1. locate_region, 某行(行键)在哪个region

在这里插入图片描述
在这里插入图片描述

Group name: namespace 等同于mysql中的数据库(database)

  1. list_namespace 查看系统中有几个命名空间

在这里插入图片描述

  1. list_namespace_tables 查看指定命名空间的表

在这里插入图片描述

  1. create_namespace 创建一个命名空间 带表

create_namespace ‘doit_199’
在这里插入图片描述

  1. drop_namespace [命名空间必须为空]

  2. describe_namespace 查看命名空间的信息

  3. alter_namespace 修改命名空间的属性 set 为增加属性 unset 为删除属性

在这里插入图片描述
在这里插入图片描述

Group name: dml 数据管理语言

  1. put 插入数据 表名 行键 列族:属性 值

在这里插入图片描述

  1. scan 全表扫描数据

在这里插入图片描述

  1. get 获得行下的列族下的属性（单元格）

在这里插入图片描述

  1. delete 删除一个单元格

在这里插入图片描述

  1. deleteall 删除一行

在这里插入图片描述

  1. count 统计行数

在这里插入图片描述

  1. append 向已经有值的属性后面追加内容

在这里插入图片描述

  1. incr 计数器 累计计数

在这里插入图片描述

  1. get_counter 获取计数器的值

在这里插入图片描述

  1. get_splits 获得一张表的region分割点

在这里插入图片描述

  1. truncate 清空表中的数据

在这里插入图片描述
Group name: tools 工具

  1. flush 刷写数据

在这里插入图片描述
在这里插入图片描述

  1. hbase hfile -p -f hdfs特殊的结构路径

在这里插入图片描述

  1. 手动切分region
    在这里插入图片描述
为什么要建立预分region表

在表还没有数据前预分了region表 解决了并发插入问题 如果只有一台机器同时插入大量数据可能会造成该机器内存溢出或者资源不够 导致宕机
把表拆分成多个region后在插入数据的时候插入请求就会被不同的机器接收从而解决了并发插入的热点问题。

Hbase的java客户端操作

创建Maven项目
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>hbase</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.4.6</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>3.1.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.2.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>2.2.5</version>
        </dependency>
        <!-- 使用mr程序操作hbase 数据的导入 -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-mapreduce</artifactId>
            <version>2.2.5</version>
        </dependency>
        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.8.5</version>
        </dependency>
        <!-- phoenix 凤凰 用来整合Hbase的工具 -->
        <!-- <dependency>
             <groupId>org.apache.phoenix</groupId>
             <artifactId>phoenix-core</artifactId>
             <version>5.0.0-HBase-2.0</version>
         </dependency>-->
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.5.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.6</version>
                <configuration>
                    <!-- get all project dependencies -->
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <!-- MainClass in mainfest make a executable jar -->
                    <archive>
                        <manifest>
                            <!--<mainClass>util.Microseer</mainClass> -->
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <!-- bind to the packaging phase -->
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>
获取客户端连接核心对象
  1. HBaseConfiguration.create();配置对象
  2. conf.set(“hbase.zookeeper.quorum”, “linux01:2181,linux02:2181,linux03:2181”);设置参数 zookeeper的位置
  3. ConnectionFactory.createConnection(conf);获取连接对象
  4. conn.getTable(TableName.valueOf(“tb_b”)); hbase的表对象
  5. conn.getAdmin();获取Hbase的管理对象
package hbase.util;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Table;

import java.io.IOException;

public class Hbase_Utils {

    public static Admin getAdmin() throws IOException {
        /**
         * 获取Hbase的管理对象
         *   DDL    Tools 有关的操作在  admin对象中
         *   Tools
         * @return
         * @throws IOException
         */
        Connection conn = Hbase_Utils.getHbaseConnection();
        Admin admin = conn.getAdmin();
        return admin;
    }

    public static Table getTable() throws IOException {
        /**
         * 获取表对象
         * @param name
         * @return
         * @throws Exception
         */
        Connection conn = Hbase_Utils.getHbaseConnection();
        Table tbname = conn.getTable(TableName.valueOf("name"));
        return tbname;
    }

    public static Connection getHbaseConnection() throws IOException {
        /**
         * 获取Hbase的连接对象
         * @return
         * @throws IOException
         */
        Configuration conf= HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum" , "linux01:2181,linux02:2181,linux03:2181");
        Connection conn = ConnectionFactory.createConnection(conf);
        return conn;
    }


}
Java客户端查看所有表的名称
package hbase.client;

import hbase.util.Hbase_Utils;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;

import java.io.IOException;


public class Client02 {
    public static void main(String[] args) throws Exception {
        listTableByNameSpace();
    }

    private static void listTableByNameSpace() throws IOException {
        Admin admin = Hbase_Utils.getAdmin();
        // admin.listTableNames();  // 获取系统中所有的表
        // 获取指定namesapce中所有的表
        TableName[] tableNames = admin.listTableNamesByNamespace("default");
        for (TableName tableName : tableNames) {
            byte[] name = tableName.getName();
            byte[] namespace = tableName.getNamespace();
            byte[] qualifier = tableName.getQualifier();
            System.out.println(new String(name));
            System.out.println(new String(namespace));
            System.out.println(new String(qualifier));
        }
        admin.close();
    }
}
Hbase的Java客户端建表预分region
Hbase在建表的时候指定表名和至少一个列族
package hbase.client;

import hbase.util.Hbase_Utils;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;

import java.util.ArrayList;
import java.util.List;

public class Hbase_CreateTableWithRegion {
    /**
     * 创建一个表带有三个列族  并有3个region分区
     预分region表 对表的数据进行合理的规划将数据存储再不同的region/上 避免插入热点
     参数一：表的描述器
     参数二：预分region的 splitkey
     */
    public static void main(String[] args) throws Exception{
        //获得一个hbase的管理对象
        Admin admin = Hbase_Utils.getAdmin();
        //表的构建器
        TableDescriptorBuilder tb_region = TableDescriptorBuilder.newBuilder(TableName.valueOf("tb_region"));
        //列族的构建器
        ColumnFamilyDescriptorBuilder cf1builder = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("cf1"));
        ColumnFamilyDescriptorBuilder cf2builder = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("cf2"));
        ColumnFamilyDescriptorBuilder cf3builder = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("cf3"));
        //列族的描述器
        ColumnFamilyDescriptor cf1 = cf1builder.build();
        ColumnFamilyDescriptor cf2 = cf2builder.build();
        ColumnFamilyDescriptor cf3 = cf3builder.build();
        List<ColumnFamilyDescriptor> ls=new ArrayList<>();
        ls.add(cf1);
        ls.add(cf2);
        ls.add(cf3);
        tb_region.setColumnFamilies(ls);
        //表的描述器
        TableDescriptor build = tb_region.build();
        //获取预分 region的splitkey
        byte[][] splitKey = new byte[][]{"a".getBytes(),"e".getBytes()};
        admin.createTable(build,splitKey);
        admin.close();
    }
}
ChenPD27595
关注
  • 4
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Phoenix填坑记1：索引无故被disable
sunlen的专栏(编程技术探讨)
12-29 996
Phoenix是基于HBase的，而Phoenix的索引其实是HBase的二级索引，当Phoenix的索引处于disable状态时，整个Phoenix表是无法正常使用的，要将索引修复为enable状态，往往需要重建索引，这对应一些大表来说，往往需要花费几个小时是时间，那么这几个小时，系统基本上就处于不可用状态，这对应现网系统来说，往往是不可接受的。 其实Phoenix有3个隐藏参数，这些参数在官网文档没有体现，但实际上这3个参数非常重要，可以解决上面提到的问题。 闲话不说，先来讲...
简单的Java SSH客户端
最佳 Java 编程
05-24 1257
可以使用jcabi-ssh在Java中通过几行代码通过SSH执行shell命令： String hello = new Shell.Plain( new SSH( "ssh.example.com", 22, "yegor", "-----BEGIN RSA PRIVATE KEY-----..." ) ).exec("echo 'Hello, world!'");...
HBase API
Lifelong learning
07-20 736
HBase的客户端连接由ConnectionFactory类来创建，用户使用完成之后需要手动关闭连接。同时连接是一个重量级的，推荐一个进程使用一个连接，对HBase的命令通过连接中的两个属性Admin和Table来实现。在resources文件夹中创建配置文件hbase-site.xml，添加以下内容。注意会报错javax.el包不存在，是一个测试用的依赖，不影响使用。使用类单例模式,确保使用一个连接，可以同时用于多个线程。创建类HBaseDML。...
phoenix表disabled 之后的解决方法
javacrazy_的博客
10-26 1277
https://blog.csdn.net/qq_24817093/article/details/79730863
hbase shell启动报错
京河小蚁的博客
07-12 2082
在客户端执行hbase org.apache.hadoop.hbase.mapreduce.ImportTsv命令的时候报如下错误： 尝试直接执行hbase shell命令，依然报上面的错误，找问题吧。起初 是以为服务器的jdk版本的问题，因为开发环境和测试环境的jdk版本的确不一样，一顿操作之后不生效，试着调整之后依然报这个错误，不是这个问题所导致的。度娘 -直接百度查询，知道是hbase.tmp.dir设置的路径，hbase没有读写权限。 具体的配置文件为/etc/hbase/conf/hbase-s
hbase用于查询客户端工具
03-22
在HBase环境中，有多种客户端工具可供开发人员和管理员使用来进行查询和其他操作。以下是一些主要的HBase查询客户端工具及其详细说明： 1. **HBase Shell**：这是HBase自带的一个命令行接口，用户可以通过Java REPL...
HBaseClient:HBase客户端数据管理软件
05-12
HBase客户端数据管理软件 概要说明 类似PL/SQL，是一个HBase数据库的客户端数据管理软件。是免费开源的软件。 基于XJava，使用xml配置文件绘制可视化界面。 可视化界面操作 表 表的定义、编辑、删除； 数据 数据的...
HBASE 可视化客户端（非phenix）
02-19
hbase可视化客户端 类似PL/SQL，是一个HBase数据库的客户端数据管理软件。 1: put支持中文 2: 支持文件形式的批量put命令执行 3: 支持扫描目录下所有文件的批量put命令执行 4: 支持put命令字符的执行 5: 支持文件...
HBase的Java客户端源码
07-11
HBASE的java版本的客户端，运行代码需要设定环境变量且打包成jar文件运行
hbase shell基础和常用命令详解
01-10
HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 1. 简介 HBase是一个分布式的、面向列的开源数据库,源于...
java 远程调用Shell脚本客户端包
03-19
该工具包可实现远程调用Shell脚本，可帮助您轻松实现java远程调用Shell脚本
HbaseShell.jar
11-08
hbase模拟shell
大数据之hbase_hbase的shell客户端基础操作
WuBoooo的博客
08-27 649
开启shell交互客户端 为了操作方便,建议将hbase配置到linux系统的环境变量中 配置好环境变量后,在任意位置,输入hbase shell 即可进入到shell客户端中 输入help指令,可查看shell客户端所有的操作指令列表 输入help “命令名” 可查看该命令所有的功能及用法 通用命令 status: 查看HBase的状态，例如，服务器的数量。 version: 提供正在使用HBase版本。 table_help: 表引用命令提供帮助。 whoami: 提供有关用户的信
阿里云HBase Shell操作指南
Odboy
07-08 873
下载配置 下载HBase Shell https://hbaseuepublic.oss-cn-beijing.aliyuncs.com/hbaseue-shell.tar.gz?spm=a2c4g.11186623.2.5.72e9404bqjt0C1&file=hbaseue-shell.tar.gz 解压，然后在解压后的tar包中的conf/目录下的hbase-...
必须要掌握的【Hbase Shell】
王同学的博客
12-06 577
目录 Hbase Shell 一,基本命令 二，数据模型 三，表的管理 四，表数据的增删改查 五，hbase数据迁移的importtsv Hbase Shell启动 [root@master conf]# hbase shell SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/hadoop/hbase-1.6.0/lib/slf4j-log4j12-1.7.
创建数据表
AIex_的博客
07-05 2296
比方说，我想要在新建的mrsoft数据库里面创建一个表。 表名为: books. 然后为它增加5个字段，分别是: id(主键)、name(图书名称)、category(图书分类)、price(图书合格)、publish_time(出版时间)。 创建books的SQL语句如下: sql = ''' CREATE TABLE books ( id int(8) NOT NULL AUTO_...
纯Java实现一个网页版的Xshell
z_ssyy的博客
12-29 6500
最近由于项目需求，项目中需要实现一个WebSSH连接终端的功能，由于自己第一次做这类型功能，所以首先上了GitHub找了找有没有现成的轮子可以拿来直接用，当时看到了很多这方面的项目，例如：GateOne、webssh、shellinabox等，这些项目都可以很好地实现webssh的功能。
大数据基础之HBase —— HBase概述
Duktig的博客
11-13 3698
HBase概述 HBase的存储结构 HBase的shell操作 HBase的读写流程 HBase API HBase的集成
解决hbase shell 启动失败问题-hbase 2.4.12-hadoop 3.3.1
韦不二的博客
05-23 3940
1. 方案 看hbase官网这两个版本应该是兼容的，但是实际上有包冲突，解决方案是用hadoop包替换hbase的包。 hbase 2.4.12 hadoop 3.3.1 2.报错 2.1 启动hbase shell 报错 java.lang.NoSuchMethodError: jline.console.completer---- (base) [root@node001 logs]# hbase shell LoadError: load error: irb/completion -- java.l
编写一段 spark 执行 hbase shell 命令的java代码
最新发布
02-23
让我们来看看怎样用Java编写一段Spark执行HBase Shell命令的程序：1. 首先，引入必要的jar包：import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.hadoop....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值