HBase概述、安装、shell操作07

最新推荐文章于 2024-05-06 23:47:34 发布
最新推荐文章于 2024-05-06 23:47:34 发布
阅读量213 收藏
点赞数
分类专栏： # HBase 文章标签： 大数据 hbase java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39331255/article/details/109465872
版权

在这里插入图片描述

一、HBase概述

1.1 HBase的定义

HBase是一个分布式的、面向列的开源的非关系型数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable”。

1.2 HBase的特点

1）海量存储
HBase适合存储PB(1pb = 1024tb)级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与HBase的极易扩展性息息相关。正是因为HBase良好的扩展性，才为海量数据的存储提供了便利。
2）列式存储
这里的列式存储其实说的是列族存储，HBase是根据列族来存储数据的。列族下面可以有非常多的列，列族在创建表的时候就必须指定。
3）极易扩展
HBase的扩展性主要体现在两个方面，一个是基于上层处理能力（RegionServer）的扩展，一个是基于存储的扩展（HDFS）。
通过横向添加RegionSever的机器，进行水平扩展，提升HBase上层的处理能力，提升HBase服务更多Region的能力。
通过横向添加Datanode的机器，进行存储层扩容，提升HBase的数据存储能力和提升后端存储的读写能力。
4）高并发
由于目前大部分使用HBase的架构，都是采用的廉价PC，因此单个IO的延迟其实并不小，一般在几十到上百ms之间。这里说的高并发，是指：Hbase要把数据写到hdfs，再由hdfs写入磁盘，流程虽然繁琐，但其单个IO延迟下降的并不多，主要突出其架构的优越性。能获得高并发、低延迟的服务。
5）稀疏
稀疏主要是针对HBase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的。

1.3HBase表的逻辑结构

在这里插入图片描述

1.4HBase表的物理结构

在这里插入图片描述

1.5HBase数据模型

1 1 ） Name Space
命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间。
2 2 ） Region
类似于关系型数据库的表概念。不同的是，HBase 定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往 HBase 写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase 能够轻松应对字段变更的场景。
3 3 ） Row
HBase 表中的每行数据都由一个 y RowKey 和多个 Column（列）组成，数据是按照 RowKey的字典顺序存储的，并且查询数据时只能根据 RowKey 进行检索，所以 RowKey 的设计十分重
要。
4 4 ） Column
HBase 中的每个列都由 Column Family(列族)和 Column Qualifier（列限定符）进行限定，例如 info：name，info：age。建表时，只需指明列族，而列限定符无需预先定义。
5 5 ） Time Stamp
用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入 HBase 的时间。
6 6 ） Cell
由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell 中的数
据是没有类型的，全部是字节码形式存贮。

二、HBase安装

2.1 部署Zookeeper

首先保证Zookeeper集群的正常部署并启动：
[root@hadoop003 zookeeper-3.4.10]$ bin/zkServer.sh start
[root@hadoop004 zookeeper-3.4.10]$ bin/zkServer.sh start
[root@hadoop005 zookeeper-3.4.10]$ bin/zkServer.sh start

2.2 部署Hadoop

Hadoop集群的正常部署并启动：
[root@hadoop003 hadoop-2.7.2]$ sbin/start-dfs.sh
[root@hadoop004 hadoop-2.7.2]$ sbin/start-yarn.sh

2.3 安装部署HBase

解压HBase到指定目录：
[root@hadoop003 software]$ tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module
修改HBase配置文件
1）hbase-env.sh修改内容
export JAVA_HOME=/opt/module/jdk1.8.0_144
export HBASE_MANAGES_ZK=false
2）vim hbase-site.xml修改内容

<configuration>
	<property>     
		<name>hbase.rootdir</name>     
		<value>hdfs://hadoop003:9000/hbase</value>   
	</property>

	<property>   
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>

   <!-- 0.98后的新变动，之前版本没有port,默认端口为60000 -->
	<property>
		<name>hbase.master.port</name>
		<value>16000</value>
	</property>

	<property>   
		<name>hbase.zookeeper.quorum</name>
	     <value>hadoop003:2181,hadoop004:2181,hadoop005:2181</value>
	</property>

	<property>   
		<name>hbase.zookeeper.property.dataDir</name>
	     <value>/opt/module/zookeeper-3.4.10/zkData</value>
	</property>
</configuration>

3）regionservers：
hadoop003
hadoop004
hadoop005

4）软链接Hadoop配置文件到HBase
[root@hadoop003 module]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/hbase-1.3.1/conf/core-site.xml
[root@hadoop003 module]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase-1.3.1/conf/hdfs-site.xml

5）HBase安装目录远程同步到集群其他服务器
scp -r /opt/module/hbase-1.3.1/ hadoop004:/opt/module/

6）启动HBase服务
[root@hadoop003 hbase]$ bin/start-hbase.sh
对应的停止服务：
[root@hadoop003 hbase]$ bin/stop-hbase.sh

7）查看HBase界面
启动成功后，可以通过“host:port”的方式来访问HBase管理页面，例如：
http://hadoop003:16010
在这里插入图片描述

三、HBase Shell操作

3.1 进入HBase客户端命令行（任意节点均可）

[root@hadoop003 hbase]$ bin/hbase shell

3.2 库namespace

增：
create_namespace ‘offcn’
删：
drop_namespace ‘offcn’
改：
–修改NameSpace的属性
alter_namespace ‘ns1’, {METHOD => ‘set’, ‘PROPERTY_NAME’ => ‘PROPERTY_VALUE’}
查：
list_namespace

3.2 表

增：
create ‘t1’, ‘f1’, ‘f2’, ‘f3’
create ‘offcn:student’,‘basic’,‘extends’
创建表 必须指定列族
删：
drop ‘offcn:student’（不写namespace则是默认namespace下的表）
ERROR: Table offcn:student is enabled. Disable it first.先禁用表，再删除表
disable ‘offcn:student’
drop ‘offcn:student’
改：
alter ‘student’, {NAME => ‘info’, VERSIONS => 5} 开启多版本
get ‘student’,‘1001’,{COLUMN=>‘info:age’,VERSIONS=>‘3’}查看最新的几个版本值
查：
list
describe ‘student’==desc 'student 查看表结构

3.3 数据

增:
hbase(main):004:0> put ‘student’,‘1001’,‘info:age’,‘18’
hbase(main):005:0> put ‘student’,‘1002’,‘info:name’,‘Janna’
hbase(main):006:0> put ‘student’,‘1002’,‘info:sex’,‘female’
hbase(main):007:0> put ‘student’,‘1002’,‘info:age’,‘20’
删:
delete ‘ns1:t1’, ‘r1’, ‘c1’, ts1 删除某条数据
delete ‘student’, ‘002’, ‘basic:sex’
deleteall ‘student’,‘001’
truncate 'student’清空表数据
提示：清空表的操作顺序为先 disable，然后再 truncate。
改:
put ‘student’,‘1001’,‘info:age’,‘100’
查:
get查看具体值
get ‘student’,‘1001’
get ‘student’,‘1001’,‘info:name’
get ‘student’,‘1001’,{COLUMN=>‘info:age’,VERSIONS=>‘3’}查看最新的几个版本值
scan ‘student’–全表扫描
–根据rowkey的范围查询
scan ‘student’,{STARTROW => ‘1001’}
scan ‘student’, {COLUMNS => ‘basic:name’, LIMIT => 2, STARTROW => ‘001’}
scan ‘student’, {COLUMNS => ‘basic:name’, STARTROW => ‘001’,ENDROW => ‘003’}

3.4 其他

count  统计行数
status 
version 查看habse版本
whoami

四、Java API操作HBase

环境准备

新建项目后在pom.xml中添加依赖：

junit junit RELEASE org.apache.hbase hbase-client 1.3.1

HBase API

1.获取Configuration对象

Configuration conf = null;
@Before
public void test()throws Exception {
    conf = HBaseConfiguration.create();
    conf.set("hbase.zookeeper.quorum","hadoop003,hadoop004,hadoop005");
    conf.set("hbase.zookeeper.property.clientPort","2181");
}

2.判断表是否存在

@Test//  判断表是否存在
public void testTableExist()throws Exception {
    // 1 通过配置对象获取连接
    Connection conn = ConnectionFactory.createConnection(conf);
    // 2 通过连接，拿到admin对象
    Admin admin = conn.getAdmin();
    // 3 利用admin对象进行操作hbase
    boolean stu = admin.tableExists(TableName.valueOf("student"));
    System.out.println("表是否存在："+stu);
    // 4 关闭连接
    admin.close();
    conn.close();
}

3.创建表

@Test//  创建表
public void testTableCreate()throws Exception {
    // 1 通过配置对象获取连接
    Connection conn = ConnectionFactory.createConnection(conf);
    // 2 通过连接，拿到admin对象
    Admin admin = conn.getAdmin();
    // 3 利用admin对象进行操作hbase
    HTableDescriptor table = new HTableDescriptor(TableName.valueOf("stu"));
    HColumnDescriptor family = new HColumnDescriptor("info");
    table.addFamily(family);
    admin.createTable(table);
    System.out.println("表创建成功");
    // 4 关闭连接
    admin.close();
    conn.close();
}

4.删除表

@Test//  删除表
public void testTableDrop()throws Exception {
    // 1 通过配置对象获取连接
    Connection conn = ConnectionFactory.createConnection(conf);
    // 2 通过连接，拿到admin对象
    Admin admin = conn.getAdmin();
    // 3 利用admin对象进行操作hbase 先禁用掉表，再删除表
    admin.disableTable(TableName.valueOf("stu"));
    admin.deleteTable(TableName.valueOf("stu"));
    System.out.println("表删除成功");
    // 4 关闭连接
    admin.close();
    conn.close();
}

5.向表中插入数据

@Test//  向表中插入数据
public void testInsertData()throws Exception {
    // 1 通过配置对象获取连接
    Connection conn = ConnectionFactory.createConnection(conf);
    // 2 通过连接，拿到admin对象 表的操作用Admin对象来完成，
    // 而数据的操作，要用Table对象来实现
    Table stuTable = conn.getTable(TableName.valueOf("stu"));
    // 3 利用Table对象进行操作 把行键的字节数组传递进put对象，而且要注意，不要用
    // jdk自带的转变字节数组的方法
    //Put put = new Put(Bytes.toBytes("1001"));
    //参数1：列族名称
    //参数2：列名称
    //参数3：列值
    //put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("zhangsan"));
    //put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes("18"));

    Put put = new Put(Bytes.toBytes("1002"));
    put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("lisi"));
    put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes("19"));

    Put put2 = new Put(Bytes.toBytes("1003"));
    put2.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("wangwu"));
    put2.addColumn(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes("20"));
	//批量插入
    List<Put> putList = new ArrayList<Put>();
    putList.add(put);
    putList.add(put2);

    stuTable.put(putList);
    System.out.println("数据插入成功");
    // 4 关闭连接
    stuTable.close();
    conn.close();
}

6.删除一行&多行数据

@Test//  从表中删除数据
public void testDeleteData()throws Exception {
    // 1 通过配置对象获取连接
    Connection conn = ConnectionFactory.createConnection(conf);
    // 2 通过连接，拿到admin对象 表的操作用Admin对象来完成，
    // 而数据的操作，要用Table对象来实现
    Table stuTable = conn.getTable(TableName.valueOf("stu"));
    // 3 利用Table对象进行操作 把行键的字节数组传递进put对象
    //Delete delete = new Delete(Bytes.toBytes("1003"));
    //delete.addFamily(Bytes.toBytes("info"));
    //delete.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"));

    Delete delete = new Delete(Bytes.toBytes("1002"));
    Delete delete2 = new Delete(Bytes.toBytes("1003"));
    delete2.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"));

    List<Delete> deleteList = new ArrayList<Delete>();
    deleteList.add(delete);
    deleteList.add(delete2);

    stuTable.delete(deleteList);
    // 4 关闭连接
    stuTable.close();
    conn.close();
}

7.获取所有数据

@Test//  获取所有数据
public void testGetAllData()throws Exception {
    // 1 通过配置对象获取连接
    Connection conn = ConnectionFactory.createConnection(conf);
    // 2 通过连接，拿到admin对象 表的操作用Admin对象来完成，
    // 而数据的操作，要用Table对象来实现
    Table stuTable = conn.getTable(TableName.valueOf("stu"));
    // 3 利用Table对象进行操作 把行键的字节数组传递进put对象
    Scan scan = new Scan();
    ResultScanner scanner = stuTable.getScanner(scan);
    for (Result result : scanner) {
        //这是封装的某个rowkey的所有数据
        Cell[] cells = result.rawCells();
        for (Cell cell : cells) {
            String rowkey = Bytes.toString(CellUtil.cloneRow(cell));
            String family = Bytes.toString(CellUtil.cloneFamily(cell));
            String column = Bytes.toString(CellUtil.cloneQualifier(cell));
            String value = Bytes.toString(CellUtil.cloneValue(cell));
            System.out.println(rowkey+"-"+family+"-"+column+"-"+value);
        }
        System.out.println("=========================");
    }

    // 4 关闭连接
    stuTable.close();
    conn.close();
}

8.获取某一行数据，指定列族，列

@Test//  获取某个rowkey的数据
public void testGetOneData()throws Exception {
    // 1 通过配置对象获取连接
    Connection conn = ConnectionFactory.createConnection(conf);
    // 2 通过连接，拿到admin对象 表的操作用Admin对象来完成，
    // 而数据的操作，要用Table对象来实现
    Table stuTable = conn.getTable(TableName.valueOf("stu"));
    // 3 利用Table对象进行操作 把行键的字节数组传递进put对象
    //Get get = new Get(Bytes.toBytes("1002"));
    //get.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"));
    Get get = new Get(Bytes.toBytes("1002"));
    Get get2 = new Get(Bytes.toBytes("1003"));
    List<Get> getList = new ArrayList<Get>();
    getList.add(get);
    getList.add(get2);
    Result[] results = stuTable.get(getList);
    for (Result result : results) {
        //这是封装的某个rowkey的所有数据
        Cell[] cells = result.rawCells();
        for (Cell cell : cells) {
            String rowkey = Bytes.toString(CellUtil.cloneRow(cell));
            String family = Bytes.toString(CellUtil.cloneFamily(cell));
            String column = Bytes.toString(CellUtil.cloneQualifier(cell));
            String value = Bytes.toString(CellUtil.cloneValue(cell));
            System.out.println(rowkey+"-"+family+"-"+column+"-"+value);
        }
        System.out.println("========");
    }
    // 4 关闭连接
    stuTable.close();
    conn.close();
}
五块兰州拉面
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase 常用Shell命令
weixin_34265814的博客
12-31 2077
2019独角兽企业重金招聘Python工程师标准>>> ...
hbase shell
05-15
hbase 在linux的shell命令
Hbase 常用shell操作
最新发布
lIujunXHU的博客
05-06 2266
通过shell的方式来维护和管理HBase。例如：执行建表语句、执行增删改查操作等等。
Hbase Shell
彬正的博客
01-21 147
根据某列查询： scan 'flightdata:user_tag', {COLUMNS=> 'f:dom_last_1_year_hotel_order_num'} 根据某列值查询： get 'flightdata:user_tag','0bebhkmol0436','f:dom_last_1_year_hotel_order_num'
Hbase shell
原创学无止尽
03-15 2660
HBASE SHELL简介 作为入门简要介绍下HBASE SHELL命令，通过这些命令大概可以知道HBASE的存储结构和如何操作HBASE的表。本篇先介绍DDL和DML的简单命令的使用案例，相关的原理和底层逻辑不再介绍之列。 TOOLS、REPLICATION和GENERAL信息待对HBASE的架构有深入了解后再整理汇总。 HBASE SHELL汇总： DDL alter, crea
HbaseShell
召唤师的峡谷
06-17 402
HbaseShell hbase按照时间戳降序排列各时间版本，其他映射建按照升序排序。 时间版本（version）--------单元值有时间版本，时间版本用时间戳标识，是一个long。没有指定时间版本时，当前时间戳作为操作的基本。hbase保留单元值时间版本的数量基于列族进行配置。默认数量是3个。 ##基本使用命令 启动Hbase: hbase shell 退出: exit shutdown表示...
hbase安装教程
11-16
### HBase 安装教程详解 #### 一、概述 HBase 是一个分布式的、面向列的开源数据库，是Apache Hadoop生态系统中的一个重要组件。它能够处理非常大的表——数十亿行、数百万列的数据，并且可以实时进行读写操作。本...
hbase shell常用命令汇总
02-15
#### 一、HBase Shell 概述 HBase Shell 是一个基于命令行的工具，用于与HBase进行交互。它提供了一系列丰富的命令来执行基本的数据管理任务，例如创建表、插入数据、查询数据等。本文将详细介绍HBase Shell 中的...
hbase安装和基本介绍
07-19
#### 一、HBase 概述 HBase 是一个分布式的、面向列的开源数据库，它旨在为结构化数据提供高效存储和检索服务。HBase 的设计灵感来源于 Google 的 Bigtable 论文，并且它作为 Apache Hadoop 生态系统的一个关键组件...
Hbase Shell 介绍
jast
10-12 8399
目录 Scan 创建表 Count 清空表数据 删除数据 删除表 删除列簇 判断表是否为‘enable’ 插入 Region管理 Scan 查询某个表某个列的数据： scan 'tableName',{COLUMN=>列族：列,LIMIT=>需要查看条数} 指定开始Rowkey查询 scan 'tableName',{STARTROW=...
hbase的shell使用
六根绳的博客
10-22 277
hbase shell 命令行演示
hbase的shell操作
weixin_45654619的博客
10-09 1233
hbase的shell操作 hbase shell exit #退出命令行 version #查看当前hbase版本 status #查看状态 whoami #告诉你当前角色 注意表名、列名一般采用单括号包括 不支持SQL语句!采用自定义的命令和语法 参数大小写敏感 同一个表中不可有同名的列族 注意对列族参数的定义语法 注意对列族参数的定义语法 二.hbase的基本操作 一.表和列族的操作 1.create：创建表 # 语法 create '表名', {NAME => '列族名1'}, {N
HBase Shell 命令
大JAVA解决方案
06-01 265
HBase Shell 命令博客分类： Hbasehbase shelllistcreateputscan This page describes the JRuby IRB-based HBase Shell. It replaces the SQL-like HQL, the Shell found in HBase versions 0.1.x and previous. Some disc...
HBASE的shell操作
u013111855的博客
10-21 1398
HBASE的shell操作Group name: general 通用命令Group name: namespace 进入shell界面(启动hbase客户端)： hbase shell 进入客户端后，可以使用help命令来查看命令分组： help 命令分组分为： COMMAND GROUPS: Group name: general Commands: status, t...
常用的HBase Shell
Shenzgang的博客
05-11 216
HBase Shell 目录 HBase Shell DDL 创建表 修改表 禁用表 启用表 表描述 列出所有表 Namespace 查询所有namespace 创建namespace 查看namespace详细信息 删除namespace 查看指定namespace中表 DML 新增 删除 查询 清空表 到此为止吧 DDL 创建表 # 创建多列簇表 create 't1', {NAME => 'f1'}, {NAME => 'f2'}, {NA
HBase shell操作
bitmao888的博客
05-20 348
文章目录HBase常用shell操作1、进入HBase客户端命令操作界面2、查看帮助命令3、查看当前数据库中有哪些表4、创建一张表5、添加数据操作6、查询数据操作更新数据操作1、更新数据值删除数据以及删除表操作1、指定rowkey以及列名进行删除2、指定rowkey，列名以及字段值进行删除3、删除一个列族4、清空表数据5、删除表HBase的高级shell管理命令1、status2、whoami3、list4、count5、describe6、exist7、is_enabled、is_disabled8、al
Hbase shell操作（完整版记录）
caicongyang
04-23 1247
Hbase shell操作（完整版）
HBase Shell 工具
szwwzh的博客
04-09 881
HBase Shell 工具 基本命令 hbase(main):001:0> help help    'create_namespace'  查看命令的用法 namespace  创建  查看  描述  删除 create_namespace 'ns_name' list_namespace describ
HBase Shell操作
waectr的博客
07-27 123
基本操作 进入命令行： 在hbase/中输入 bin/hbase shell 查看数据库中的表：list 目前还没建表 表操作 命名空间 在概念理解上就是对不同的表做一个分类，就好像把不同的表放在不同的数据库中一样 列出所有命名空间： list_namespace 创建命名空间 create_namespace 'ns1' 删除命名空间 drop_namespace 'n...
HBase官网文档深度解读：入门到进阶
5. **HBase Shell(The Apache HBase Shell)**：HBase的命令行工具，用于交互式操作数据库，如创建表、插入数据、查询等，是开发者日常操作的主要工具。 6. **数据模型(Data Model)**：HBase采用列族存储模型，围绕...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值