Hbase安装以及常用命令，代码调用API

最新推荐文章于 2022-05-20 17:58:14 发布
最新推荐文章于 2022-05-20 17:58:14 发布
阅读量212 收藏 1
点赞数
分类专栏： Hbase 文章标签： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lookup123/article/details/103183329
版权

说明：本人是用vm搭建的4个节点的服务，分别是node01,node02,node03,node04; node02,node03,node04上分别安装的zk, node01是hadoop的主节点，node02，node03，node04是hadoop的子节点。本人是把hbase安装在node04上为hmaster，node03为备hmater,node01,node02,node03为HregionServer

注意：每个节点上的时间要保持一致，否则在写入hbase时候会出现问题

同步时间方式，百度上还有其他方式

用ntpdate从时间服务器更新时间

如果linux系统没有ntpdate这个命令，可以输入以下代码进行安装

yum install ntp

安装完了之后，你不要做什么配置，也不需要，直接测试一下

vi /etc/ntp.conf

add below:

server 1.cn.pool.ntp.org

server 3.asia.pool.ntp.org

server 2.asia.pool.ntp.org

restart service and sync the time

[root@localhost ~]# ntpdate time.nist.gov

22 Oct 21:11:43 ntpdate[5014]: adjust time server 207.200.81.113 offset -0.018788 sec

如果显示上面的内容说明同步成功了，然后在crontab里面加上以下内容。

*/10 * * * * ntpdate time.nist.gov #域名或IP

每隔十分钟同步一次。推荐几个时间服务器。

time.nist.gov

time.nuri.net

0.asia.pool.ntp.org

1.asia.pool.ntp.org

2.asia.pool.ntp.org

3.asia.pool.ntp.org

 

  1. 上传hbase安装包并解压, 配置环境变量

修改$HBASE_HOME/conf下的hbase_env.sh里的JAVA_HOME路径以及关掉Hbase自带得zookeeper(export HBASE_MANAGES_ZK=false)

  1. 修改$HBASE_HOME/conf下的hbase-site.xm文件

    <property>,

<name>hbase.rootdir</name>

<!-mycluster是hadoop里面hdfs-site.xml里配置得服务名称->

<value>hdfs://mycluster/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>hadoop2,hadoop3,hadoop4</value>

</property>

  1. 修改$HBASE_HOME/conf下的regionserverse文件,配置regionserver

     node01

     node02

     node03

  1. 修改$HBASE_HOME/conf下的backup-masters(备用节点)里配置:

     node03

完成以上步骤把hadoop下面得hdfs-site.xml拷贝到hbase/conf下

把node04上配置好的hbase包分发到node01,node02,node03上注意配置环境变量。如果node01,node02,node03 hbase/conf路径下没有hadoop的hdfs-site.xml 在启动时候启动不起来。

启动前hadoop要先起来。在node04 上$HBASE_HOME/bin下执行./start-hbase.sh

这里我在hbase-site.xml中没有配置端口用的默认端口 页面默认端口16010，后台默认端口16000.高版本支持配置端口

 <!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->

<property>

<name>hbase.master.port</name>

<value>16000</value>

</property>

hbase.master.maxclockskew设置更大的值

<property>

        <name>hbase.master.maxclockskew</name>

        <value>180000</value>

        <description>Time difference of regionserver from master</description>

 </property>

每个节点都可以用命令开启运行hbase，切换到$HBASE_HOM/bin下 命令:hbase shell

查看帮助命令:

hbase(main):001:0> help

查看表命令:

hbase(main):002:0> list

查看namespace命令:(namespace可以理解为数据库)

hbase(main):003:0> list_namespace

创建一个新的namespace:

hbase(main):007:0> create_namespace 'test_ns'

在test_ns下创建表:

hbase(main):009:0> create 'test_ns:test_table','info'  //创建表要指定表面和列族

如果不指定namespace的话创建的表默认在default 的namespace中

查看namespace的描述：

hbase(main):013:0> describe_namespace 'test_ns'

修改namespace的名称:

hbase(main):015:0> alter_namespace 'test_ns',{METHOD => 'set', 'name' => 'test_ns2'}

修改前查看:

修改后查看:

删除namespace的name:

hbase(main):018:0> alter_namespace 'test_ns',{METHOD => 'unset',NAME => 'name'}

删除表:

hbase(main):022:0> disable 'test_ns:test_table'

hbase(main):023:0> drop 'test_ns:test_table'

删除namespace:

hbase(main):025:0> drop_namespace 'test_ns'   //注意如果namespace里有表，要先删表再删namespace，否则直接删namespace报错

创建分片表:

hbase(main):013:0> create 'test_ns:teacher','info',SPLITS => ['2','4','6']

往表里插入数据:

说明: 1 是指rowkey, name,sex,age是列名,hbase建议列族即info，不要多.put一次不能插入多条

hbase(main):029:0> put 'test_ns:student','1','info:name','zhangsan'

hbase(main):030:0> put 'test_ns:student','1','info:sex','male'

hbase(main):031:0> put 'test_ns:student','1','info:age','22'

 

查看表结构:

hbase(main):002:0> describe 'test_ns:student'

添加一个列族:

hbase(main):009:0> alter 'test_ns:student',{NAME => 'info1'}

删除一个列族:

hbase(main):011:0> alter 'test_ns:student',{'delete' => 'info'}

注意:但表里只有一个列族时，不能删除，直接删除报错

扫描表:

hbase(main):008:0> scan 'test_ns:student'

通过指定版本扫描表:

hbase(main):010:0> scan 'test_ns:student',{RAW => true, VERSIONS => 10}

通过指定列查询数据:

hbase(main):014:0> scan 'test_ns:student',{COLUMNS => 'info:name'}

分页查询:

hbase(main):016:0> scan 'test_ns:student',{COLUMNS => ['info:name'],LIMIT => 2, STARTROW => '1'}

get查询:

hbase(main):017:0> get 'test_ns:student','1'

hbase(main):018:0> get 'test_ns:student','1','info:name'

根据时间戳查询 是一个范围，包头不包尾

hbase(main):035:0> get 'test_ns:student','1', {TIMERANGE => [1574231458967, 1574234043781]}

更新数据:

hbase(main):037:0> put 'test_ns:student','1','info:age','30'

incr计数器

hbase(main):044:0> incr 'test_ns:student','1','info:name'

删除一列:

hbase(main):002:0> delete 'test_ns:student','1','info:age'

删除一行:

hbase(main):004:0> deleteall 'test_ns:student','1'

删除指定版本:

hbase(main):013:0> delete 'test_ns:student','3','info:name',TIMESTAMP => 1574232778235

判断表是否存在:

hbase(main):001:0> exists 'test_ns:123'

统计表行数:

hbase(main):002:0> count 'test_ns:student'

表生效和失效

hbase(main):085:0> enable 'myns:user_info'

hbase(main):086:0> disable 'myns:user_info'

 

清空表数据:

hbase(main):003:0> truncate 'test_ns:student'

==================================下面是IDEA中用代码实现==========================

pom.xml文件格式如下:

<dependencies>
    <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-client</artifactId>
        <version>2.0.4</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-server</artifactId>
        <version>2.0.4</version>
    </dependency>
</dependencies>

  代码如下:

package com.test;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;

public class testHbaseApi {

    public static Connection connection = null;
    public static Admin admin = null;

    static {
        try {
            Configuration conf = HBaseConfiguration.create();
            conf.set("hbase.zookeeper.quorum","node02,node03,node04");
            connection = ConnectionFactory.createConnection(conf);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    //连接得到用户
    public static  void getAdmin() throws IOException {
         if(admin == null){
             admin = connection.getAdmin();
         }
    }

    //关闭
    public static void closeConn() throws IOException {
        if(admin != null) {
            admin.close();
        }
        if(connection != null){
            connection.close();
        }
    }

    //判断表是否存在
    public static boolean isExistTable(String tableName) throws IOException {
        boolean isboolean = admin.tableExists(TableName.valueOf(tableName));
        return isboolean;
    }

    //创建表
    public static void createTable(String tableName, String... cfs) throws IOException {
        if (tableName == null || tableName.trim().length() == 0) {
            System.out.println("tableName isn't null");
            return;
        }
        if (isExistTable(tableName)) {
            System.out.println("tableName is exist");
            return;
        }
        if (cfs.length == 0) {
            System.out.println("cloumn family isn't null");
            return;
        }
        TableDescriptorBuilder tableDescriptorBuilder = TableDescriptorBuilder.newBuilder(TableName.valueOf(tableName));
        for(String c : cfs){
            ColumnFamilyDescriptor columnFamilyDescriptor = ColumnFamilyDescriptorBuilder.of(c);
            tableDescriptorBuilder.setColumnFamily(columnFamilyDescriptor);
        }
        TableDescriptor build = tableDescriptorBuilder.build();
        admin.createTable(build);

        }

        //删除表
      public static void deleteTable(String tablename) throws IOException {
        if(!isExistTable(tablename)){
            System.out.println("tableName isn't exist");
            return;
        }
        admin.disableTable(TableName.valueOf(tablename));
        admin.deleteTable(TableName.valueOf(tablename));
      }

      //删除表数据
      public static void deleteTableData(String tablename, String rowkey, String columnFamily, String cloumnname)throws IOException {
          if(!isExistTable(tablename)){
              System.out.println("tableName isn't exist");
              return;
          }
          Table table = connection.getTable(TableName.valueOf(tablename));
          Delete delete = new Delete(Bytes.toBytes(rowkey));
          delete.addColumns(Bytes.toBytes(columnFamily),Bytes.toBytes(cloumnname));
         // delete.addColumn(Bytes.toBytes(columnFamily),Bytes.toBytes(cloumnname)); //此方法慎用，如果同一个rowkey第一次put，然后flush，再put一次，执行此方法最近一次会删掉但第一次put进去的会展现
          table.delete(delete);
          table.close();
          System.out.println("delete is success!");
      }

      //创建namespace
     public static void createNs(String nspace){
         NamespaceDescriptor.Builder builder = NamespaceDescriptor.create(nspace);
         NamespaceDescriptor nsDescriptor = builder.build();
         try {
             admin.createNamespace(nsDescriptor);
         } catch (NamespaceExistException e1){
             System.out.println(nspace + " is exist");
         } catch (IOException e) {
             e.printStackTrace();
         }
     }

     //删除namespace
     public static  void deleteNs(String ns) throws IOException {
           admin.deleteNamespace(ns);
     }

     //插入数据
    public static void insterData(String tablename, String rowkey, String columnFamily, String cloumnname, String value) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tablename));
        Put put = new Put(Bytes.toBytes(rowkey));
        put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(cloumnname), Bytes.toBytes(value));
        table.put(put);
        table.close();
    }

    //获取数据
    public static void getData(String tablename, String rowkey, String columnFamily, String cloumnname) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tablename));
        Get get = new Get(Bytes.toBytes(rowkey));
        //获取指定的列族
       // get.addFamily(Bytes.toBytes(columnFamily));

        //获取指定的列族的列
        //get.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(cloumnname));

        //获取指定的版本
        //get.readAllVersions(); //所有版本
        //get.readVersions(5);  //指定版本

        Result result = table.get(get);
        for(Cell cell : result.rawCells()){
            System.out.println("columnFamily: " + Bytes.toString(CellUtil.cloneFamily(cell)) +
                    ",cloumnname: " + Bytes.toString(CellUtil.cloneQualifier(cell)) +
                    ",value: " + Bytes.toString(CellUtil.cloneValue(cell))
            );
        }
        table.close();
    }

    //scan扫描表数据
    public static void scanData(String tablename) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tablename));
        Scan scan = new Scan();
        ResultScanner scanner = table.getScanner(scan);
        for(Result r : scanner){
            System.out.println("=======" + r);
            for(Cell cell : r.rawCells()){
                System.out.println("columnFamily: " + Bytes.toString(CellUtil.cloneFamily(cell)) +
                        ",cloumnname: " + Bytes.toString(CellUtil.cloneQualifier(cell)) +
                        ",value: " + Bytes.toString(CellUtil.cloneValue(cell))
                );
            }
        }
        table.close();
    }

    public static void main(String[] args) throws IOException {
        getAdmin();
/*        System.out.println(isExistTable("test_ns:student"));
        System.out.println("==================下面创建表========================");
        System.out.println(isExistTable("test_ns:teacher"));
        createTable("test_ns:teacher","info","info1");
        System.out.println(isExistTable("test_ns:teacher"));
        System.out.println("==================下面删除表========================");
        deleteTable("test_ns:teacher");
        System.out.println("==================下面创建ns========================");
        createNs("test_ns");
        System.out.println("==================下面删除ns========================");
        deleteNs("test_ns1");
        System.out.println("==================下面插入表数据========================");
        insterData("test_ns:student","001","info","name","zhangsan");
        System.out.println("==================下面获取表数据========================");
        getData("test_ns:student","001",null,null);
        System.out.println("==================下面遍历表数据========================");
        scanData("test_ns:student");
        System.out.println("==================下面删除具体表数据========================");
        deleteTableData("test_ns:student","003","","");*/
        System.out.println("==================下面删除具体表数据 按列族 列名删========================");
        deleteTableData("test_ns:student","006","info","name");
        closeConn();
    }
}
lookup123
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hbase安装使用和常用指令
weixin_44468025的博客
04-24 2696
Hbase安装 1.硬件环境：需要三太虚拟机，Centos7.5以上版本，至少需要双核，至少4G内存+20G磁盘 软件环境：JDK1.8+Zookeeper-3.5.7+Hadoop3.1.3(安装zookeeper和Hadoop之前文章有) 2.去该路径下载Hbase-2.4.2-bin-bin.tar.gz：https://archive.apache.org/dist/hbase/2.4.2/ 上传至/home/software目录下 解压：tar -xvf hbase-2.4.2-bin.tar.g
HBase数据库安装配置
流月心晴
05-25 1664
HBase简介 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase...
熟悉常用的HBase操作
weixin_45115928的博客
02-26 2496
1. 实验目的和要求 1.1 实验目的 理解HBase在Hadoop体系结构中的角色； 熟练使用HBase操作常用的Shell命令； 熟悉HBase操作常用的Java API。 1.2 实验软硬件环境 操作系统：Linux（建议Ubuntu18.04）； Hadoop版本：3.2.1； HBase版本：2.1.1； JDK版本：1.11； Java IDE：Eclipse 4.3。...
HADOOP中Hbase安装与创建表及Java API调用
kris999的博客
10-11 442
HADOOP中Hbase安装与创建表及Java API调用 一、HBase安装 1.解压安装包hbase-1.2.6-bin.tar.gz至路径 /usr/local； $ sudo tar -zxf ~/下载/hbase-1.2.6-bin.tar.gz -C /usr/local 2.将解压的文件名hbase-1.2.6改为hbase，以方便使用； $ sudo mv /usr/local/hbase-1.2.6 /usr/local/hbase 3.配置环境变量； (1)编辑~/.bashrc文件
Hbase 的API调用
无
06-03 779
Hbase API 类和数据模型之间的对应关系 HBaseAdmin HBaseAdmin提供了一个接口来管理 HBase 数据库的表信息。它提供的方法包括：创建表，删 除表，列出表项，使表有效或无效，以及添加或删除表列族成员等。 HBaseConfiguration HBaseConfiguration的作用：对 HBase 进行配置。 HTableDescriptor HTableDescriptor作用：包含了表的名字极其对应表的列族。 HColumnDescriptor HColumnDes
Hbase代码示例
Samooyou的博客
05-20 542
pom.xml中引入下面的依赖： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.2.0-cdh5.14.4</version> </dependency>
Hbase shell及常用命令
05-29
HBase shell及常用命令 HBase Shell是HBase数据库的命令行工具，用户可以使用HBase Shell与HBase进行交互。HBase Shell是一个封装了Java客户端API的JRuby应用软件，在HBase的HMaster主机上通过命令行输入hbase ...
大数据实验Hbase安装部署和使用javaapi调用.pdf
11-02
【大数据实验Hbase安装部署和使用javaapi调用】 在这个实验中，我们将深入理解HBase在Hadoop生态系统中的角色，并掌握如何在Ubuntu 19.04操作系统上安装、配置和使用HBase，同时利用Java API进行编程。实验中使用的...
HBase常用Java API
01-07
HBase 的常用Java API HBase 主要包括 5 大类操作：HBase 的配置、HBase 表的管理、列族的管理、列的管理、数据操作等。 1）org.apache.hadoop.hbase.HBaseConfiguration HBaseConfiguration 类用于管理 HBase 的...
hbase shell基础和常用命令详解
01-10
HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 1. 简介 HBase是一个分布式的、面向列的开源数据库,源于...
HBASE 常用shell命令,增删改查方法
09-15
在本文中，我们将深入探讨HBase的Shell命令，特别是针对数据的增删改查操作。HBase是一个基于列族的分布式存储系统，广泛应用于大数据处理领域。它与传统的关系型数据库不同，更适合处理大规模稀疏数据。通过HBase的...
HBase详细的安装和使用方法
CSDN专家-微编程的博客
12-20 2573
简介 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org 民间中文文档：https://hbase.apachecn.org/#/ 2006年Google发表BigTable白皮书 2006年开始开发HBase 2008年北京成功开奥运会，程序员默默地将HBase弄成了Hadoop的子项目 2010年HBase成为Apache顶级项目 现在很多公司基
HBase常用Shell命令和基础开发
曹世宏的博客
06-12 868
HBase常用Shell命令 HBase中用create命令创建表： create 'Student','Num','Name','Sex','Age' 运行结果如下： hbase(main):008:0&gt; create 'Student','Num','Name','Sex','Age' 0 row(s) in 2.4910 seconds =&gt; Hbase::T...
idea连接HBase并对数据进行操作
ThisisWilli
08-30 7502
idea连接HBase并对数据进行操作 创建一张表 先创建一张表 @Test public void createTable() throws IOException { //表的描述类 HTableDescriptor desc = new HTableDescriptor(TableName.valueOf(tm)); //列族 ...
HBASE 常用命令及操作语句
weixin_43980049的博客
06-06 5380
HBase即Hadoop数据库，是一个分布式的、面向列的开源数据库，是google的bigtable的开源实现。HBase是Apache的Hadoop项目的顶级项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的列式数据库 基本命令： hbase shell --进入hbase shell 模式 help查看基本命令集合 help command 查看命令帮助 list看库中所...
HBase分布式数据库的安装与配置（详细过程）
weixin_42209572的博客
01-19 5170
HBase版本：1.4.7 1.1 解压安装包hbase-1.4.7-bin.tar.gz至路径 /usr/local，命令如下： sudo tar -zxf ~/下载/hbase-1.1.2-bin.tar.gz -C /usr/local 1.2 将解压的文件名hbase-1.4.7改为hbase，命令如下： sudo mv /usr/local/hbase-1.1.2 /usr...
HBase写入的各种方式总结汇总（代码）
weixin_33767813的博客
03-13 657
2019独角兽企业重金招聘Python工程师标准>>> ...
HBase安装教程
默主归沙的博客
03-17 2581
从0开始搭建Hbase 文章目录 前言 一、HBaes是什么？ 二、使用步骤 1.解压缩 2.配置文件的修改 前言 提示：这里可以添加本文要记录的大概内容： Hbase是一个行列存储数据库，本文是安装Hbase的教程。 提示：以下是本篇文章正文内容，下面案例可供参考 一、HBase是什么？ HBase是谷歌三大论文中的big table的一种实现形式，非关系型数据库，存储结构非行时存储，是一种列簇存储结构，以Rowkey作为识别标记。 二、使用步骤 1.解压.
实验三：熟悉常用的HBase操作
05-05
实验三是关于熟悉常用的HBase操作的实验，旨在帮助学生理解HBase在Hadoop体系结构中的角色，熟练使用HBase操作常用的Shell命令，并熟悉HBase操作常用的Java API。实验平台要求采用Linux操作系统，Hadoop版本为2.7.1...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值