hbase shell

最新推荐文章于 2024-05-28 08:28:39 发布
最新推荐文章于 2024-05-28 08:28:39 发布
阅读量137 收藏 1
点赞数 1
分类专栏： hadoop hbase 文章标签： hbase hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44273391/article/details/102706643
版权

hbase shell

命名空间

注意点：我是用的1.2.11版本的hbase，所以退格键是往后删除，和平时使用习惯不太一样，ctrl+退格是往前删

1. list_namespace:查询所有命名空间
hbase(main):008:0> list_namespace
NAMESPACE
default
hbase

2. list_namespace_tables : 查询指定命名空间的表
hbase(main):014:0> list_namespace_tables 'hbase'
TABLE
meta
namespace

3. create_namespace : 创建指定的命名空间
hbase(main):018:0> create_namespace 'ns1'
hbase(main):019:0> list_namespace
NAMESPACE
default
hbase
ns1

4. describe_namespace : 查询指定命名空间的结构
hbase(main):021:0> describe_namespace 'ns1'
DESCRIPTION
{NAME => 'ns1'}

5. alter_namespace ：修改命名空间的结构
hbase(main):022:0>  alter_namespace 'ns1', {METHOD => 'set', 'name' => 'lixi'}

hbase(main):023:0> describe_namespace 'ns1'
DESCRIPTION
{NAME => 'ns1', name => 'lixi'}

hbase(main):022:0> alter_namespace 'ns1', {METHOD => 'unset', NAME => 'name'}
hbase(main):023:0> describe_namespace 'ns1'

6. 删除命名空间
hbase(main):026:0> drop_namespace 'ns1'

hbase(main):027:0> list_namespace
NAMESPACE
default
hbase

7. 利用新添加的命名空间建表
hbase(main):032:0> create 'ns1:t1', 'f1', 'f2'

=> Hbase::Table - ns1:t1
hbase(main):033:0> list
TABLE
ns1:t1

=> ["ns1:t1"]

DDL和DML的操作

DDL

create ：建表

hbase(main):010:0> create 'user_info','base_info','extra_info'

=> Hbase::Table - user_info

hbase(main):043:0> create 'ns1:user_info', {NAME=>'base_info', BLOOMFILTER=>'ROWCOL',VERSIONS=>'3'}
describe : 查询表结构
hbase(main):003:0> describe 'ns1:user_info'
Table ns1:user_info is ENABLED
ns1:user_info
COLUMN FAMILIES DESCRIPTION
{NAME => 'base_info', BLOOMFILTER => 'ROWCOL', VERSIONS => '3', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS
 => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
create , splits : 创建表分片
hbase(main):007:0> create 'ns1:t2', 'f1', SPLITS => ['10', '20', '30', '40']
修改表
  • alter : 修改表，添加修改列簇信息
hbase(main):009:0> alter 'ns1:t1', {NAME=>'lixi_info'}

hbase(main):010:0> describe 'ns1:t1'
Table ns1:t1 is ENABLED
ns1:t1
COLUMN FAMILIES DESCRIPTION
{NAME => 'f1', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', B
LOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
{NAME => 'f2', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', B
LOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
{NAME => 'lixi_info', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS =>
 '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
3 row(s) in 0.0250 seconds
  • 删除列簇
hbase(main):014:0> alter 'ns1:t1', 'delete' => 'lixi_info'

hbase(main):015:0> describe 'ns1:t1'
Table ns1:t1 is ENABLED
ns1:t1
COLUMN FAMILIES DESCRIPTION
{NAME => 'f1', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', B
LOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
{NAME => 'f2', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', B
LOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
2 row(s) in 0.0170 seconds
  • 删除表(先要disable表，再删除表)
hbase(main):016:0> disable 'ns1:t1'
0 row(s) in 2.2790 seconds

hbase(main):017:0> drop 'ns1:t1'
0 row(s) in 1.2900 seconds

hbase(main):018:0> list
TABLE
ns1:t2
ns1:user_info
2 row(s) in 0.0090 seconds

=> ["ns1:t2", "ns1:user_info"]
DML
插入数据（put命令，不能一次性插入多条）
hbase(main):012:0> put 'user_info','001','base_info:username','lixi'
0 row(s) in 0.9800 seconds
scan扫描
hbase(main):024:0> scan 'user_info'
ROW                                                  COLUMN+CELL
 001                                                 column=base_info:love, timestamp=1538897913186, value=basketball
 001                                                 column=base_info:username, timestamp=1538897633942, value=lixi
 002                                                 column=base_info:username, timestamp=1538898168513, value=lishiming
2 row(s) in 0.0520 seconds

  • 通过指定版本查询

    注意点这里加的ＲＡＷ＝ｔｒｕｅ，会将已经存过的数据(和在内存还没清除)也展示出来，可以flush表将内存超过版本存储的数据，清除

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AA5tTzwi-1571822830166)(D:\新机\千峰笔记\1571664692603.png)]

hbase(main):024:0>０ scan 'user_info', {RAW => true, VERSIONS => 1}
ROW                    　                             COLUMN+CELL
 001                                                column=base_info:age, timestamp=1546922817429, value=32
 001                                                column=base_info:name, timestamp=1546923712904, value=rock
 001                                                column=extra_info:feature, timestamp=1546922881922, value=shuai
 001                                                column=super_info:size, timestamp=1546922931075, value=111
1 row(s) in 0.0160 seconds

hbase(main):025:0> scan 'user_info', {RAW => true, VERSIONS => 2}
ROW                                                 COLUMN+CELL
 001                                                column=base_info:age, timestamp=1546922817429, value=32
 001                                                column=base_info:name, timestamp=1546923712904, value=rock
 001                                                column=base_info:name, timestamp=1546922810789, value=lixi
 001                                                column=extra_info:feature, timestamp=1546922881922, value=shuai
 001                                                column=super_info:size, timestamp=1546922931075, value=111
1 row(s) in 0.0180 seconds
  • 查询指定列的数据
hbase(main):014:0> scan 'user_info',{COLUMNS => 'base_info:name'}
ROW                                                 COLUMN+CELL
 001                                                column=base_info:name, timestamp=1546923712904, value=rock
  • 分页查询
hbase(main):021:0> scan 'user_info', {COLUMNS => ['base_info:name', 'base_info:age'], LIMIT => 10, STARTROW => '001'}
ROW                                                 COLUMN+CELL
 001                                                column=base_info:age, timestamp=1546922817429, value=32
 001                                                column=base_info:name, timestamp=1546923712904, value=rock
get查询
hbase(main):015:0> get 'user_info','001','base_info:username'
COLUMN                                               CELL
 base_info:username                                  timestamp=1538897633942, value=lixi
1 row(s) in 0.2500 seconds

hbase(main):017:0> put 'user_info','001','base_info:love','basketball'
0 row(s) in 0.0140 seconds

hbase(main):018:0> get 'user_info','001'
COLUMN                                               CELL
 base_info:love                                      timestamp=1538897913186, value=basketball
 base_info:username                                  timestamp=1538897633942, value=lixi
  • 根据时间戳查询
hbase(main):029:0> get 'user_info', '001', {TIMERANGE => [1546922817429, 1546922931075]}
COLUMN                                              CELL
 base_info:age                                      timestamp=1546922817429, value=32
 extra_info:feature                                 timestamp=1546922881922, value=shuai
 
hbase(main):029:0> get 'zhao:user_info','001',{TIMERANGE => [1570662972435,15716716822385]}
COLUMN                     CELL
 base_info:age             timestamp=1571662922435, value=21
 base_info:love            timestamp=1571671682385, value=basketball
 base_info:username        timestamp=1571662847435, value=zhao
hbase的一个重要特性：排序特性（rowkey）
插入到hbase中去的数据，hbase会自动排序存储：
排序规则：  首先看行键，然后看列族名，然后看列（key）名； 按字典顺序

Hbase的这个特性跟查询效率有极大的关系
比如：一张用来存储用户信息的表，有名字，户籍，年龄，职业....等信息
然后，在业务系统中经常需要：
查询某个省的所有用户
经常需要查询某个省的指定姓的所有用户

思路：如果能将相同省的用户在hbase的存储文件中连续存储，并且能将相同省中相同姓的用户连续存储，那么，上述两个查询需求的效率就会提高！！！

做法：将查询条件拼到rowkey内
更新数据
hbase(main):010:0> put 'user_info', '001', 'base_info:name', 'rock'
0 row(s) in 0.1420 seconds
incr
hbase(main):053:0> incr 'user_info', '002', 'base_info:age3'
COUNTER VALUE = 1
0 row(s) in 0.0290 seconds


hbase(main):055:0> scan 'user_info'
ROW                                                 COLUMN+CELL
 001                                                column=base_info:age, timestamp=1546922817429, value=32
 001                                                column=base_info:name, timestamp=1546923712904, value=rock
 001                                                column=extra_info:feature, timestamp=1546922881922, value=shuai
 001                                                column=super_info:size, timestamp=1546922931075, value=111
 002                                                column=base_info:age2, timestamp=1546924991038, value=11
 002                                                column=base_info:age3, timestamp=1546925153059, value=\x00\x00\x00\x00\x00\x00\x00\x02
2 row(s) in 0.1020 seconds
删除数据
  • 删除一个kv数据
hbase(main):058:0> delete 'user_info', '002', 'base_info:age3'
0 row(s) in 0.0180 seconds

hbase(main):059:0> scan 'user_info'
ROW                                                 COLUMN+CELL
 001                                                column=base_info:age, timestamp=1546922817429, value=32
 001                                                column=base_info:name, timestamp=1546923712904, value=rock
 001                                                column=extra_info:feature, timestamp=1546922881922, value=shuai
 001                                                column=super_info:size, timestamp=1546922931075, value=111
 002                                                column=base_info:age2, timestamp=1546924991038, value=11
  • 删除一行数据
hbase(main):028:0> deleteall 'user_info','001'
0 row(s) in 0.0100 seconds

hbase(main):029:0> scan 'user_info'
ROW                                                  COLUMN+CELL
  • 删除指定的版本
hbase(main):081:0> delete 'user_info','001','extra_info:feature', TIMESTAMP=>1546922931075
  • 删除一个表数据
disable 'user_info'
drop 'user_info'
  • 判断表是否存在
hbase(main):083:0> exists 'user_info'
Table user_info does exist
0 row(s) in 0.0130 seconds
  • 表生效和失效
hbase(main):084:0> enable 'user_info'
0 row(s) in 0.0130 seconds

hbase(main):085:0> disable 'user_info'
0 row(s) in 2.5100 seconds
  • 统计表行数
hbase(main):088:0> count 'user_info'
1 row(s) in 0.0300 seconds

=> 1
  • 清空表数据
hbase(main):089:0> truncate 'user_info'

刷新到文件

flush 'namespace:tablename'

效和失效

hbase(main):084:0> enable 'user_info'
0 row(s) in 0.0130 seconds

hbase(main):085:0> disable 'user_info'
0 row(s) in 2.5100 seconds
  • 统计表行数
hbase(main):088:0> count 'user_info'
1 row(s) in 0.0300 seconds

=> 1
  • 清空表数据
hbase(main):089:0> truncate 'user_info'

刷新到文件

flush 'namespace:tablename'
流浮影
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hbase简介
qq_30122883的博客
03-13 567
1、HBase是一个高可靠性、高性能、面向列（列族存储）、可伸缩的分布式存储系统。 HBase利用Hadoop HDFS作为其文件存储系统，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据，HBase利用Zookeeper作为作为协同服务。 2、主要特点 列式存储 这里的列式存储其实说的是列族（ColumnFamily）存储，Hbase是根据列族来存储数据的。...
奇虎360 HBASE 二级索引的设计与实践
07-22
奇虎360 HBASE 二级索引的设计与实践 pdf 完整版
HBase表结构和shell操作（二）
Gedeon
11-19 4万+
HBase表结构 Hbase最基本的单位是列（column)。一列或多列形成一行（row），并由唯一的行键（row key)来确定存储。反过来说，一个表（table）中有若干行，其中每列可能有多个版本，在每一个单元格（cell）中存储了不同的值 Hbase表结构：建表时，不需要限定表中的字段，只需要指定若干个列族。     插入数据时，列族中可以存储任意多个列（以kv对的形式存储， 列名-列
Hbase多列范围查找（效率）
diaomu5377的博客
03-10 911
Hbase索引表的结构 Hbase Rowkey 设计 Hbase Filter Hbase二级索引 Hbase索引表的结构 　　在HBase中，表格的Rowkey按照字典排序，Region按照RowKey设置split point进行shard，通过这种方式实现的全局、分布式索引，成为了其成功的最大的砝码 　　每一个索引建立一个表，然后依靠表的row key来实现范围...
Hbase三大组件 -- Region Server、HMaster、Zookeeper 介绍
小方块的博客
09-15 5339
1）实时查询，可以认为是从内存中查询，一般响应时间在1秒内。HBase的机制是数据先写入到内存中，当数据量达到一定的量（如128M），再写入磁盘中， 在内存中，是不进行数据的更新或合并操作的，只增加数据，这使得用户的写操作只要进入内存中就可以立即返回，保证了HBase I/O的高性能。1） 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。
HBase Shell命令大全
热门推荐
人不风流枉少年
03-18 14万+
HBase关键名称： Row Key 列族 column family 单元 Cell 时间戳 timestamp HBase Shell 是官方提供的一组命令，用于操作HBase。如果配置了HBase的环境变量了，就可以知己在命令行中输入hbase shell 命令进入命令行。 hbase shell help命令 可以通过 help '命名名称'来查看命令行的具体使用 查询服务器状态st...
HBASE SHELL学习
最新发布
2301_77836489的博客
05-28 1267
HBASE SHELL学习
hbase shell操作指南
01-19
HBase shell是一个命令行工具，它允许用户以交互的方式运行HBase的命令，如建表、插入数据、数据查询等操作。 1. 进入HBase Shell 要进入HBase Shell，首先需要确认HBase服务已经启动。然后切换到HBase的安装目录，...
HBase shell的基本用法
10-09
### HBase Shell 的基本用法详解 #### 一、简介 HBase 是一款分布式的、面向列的开源数据库，其灵感来源于Google的Bigtable论文。HBase 旨在为大规模数据提供实时读写访问的能力，并且能够高效地处理非常大的数据...
实验手册_HbaseShell.docx
05-04
HBase Shell 实验手册 HBase Shell 是 Hadoop 家族中的一员，它是一个基于 HBase 的 Shell 交互式命令行工具，提供了便捷的方式来管理和操作 HBase 数据库。本实验手册旨在指导用户掌握 HBase Shell 的使用，了解 ...
HBase Shell常用命令和基本操作（附带实例）
01-07
HBase 为用户提供了一个非常方便的命令行使用方式——HBase Shell。 HBase Shell 提供了大多数的 HBase 命令，通过 HBase Shell，用户可以方便地创建、删除及修改表，还可以向表中添加数据，列出表中的相关信息等。...
Elasticsearch和Hbase对比分析
qq_44078226的博客
08-16 9922
本文会从部署架构、数据读写、集群稳定性、数据合并策略、宕机恢复等各个维度深入对比elasticsearch和hbase，会讲述哪些场景适合ES，哪些场景适合hbase，以及为什么会这样。
浅谈HBase的数据分布
weixin_34206899的博客
07-29 337
福利：国际顶级盛会HBaseCon Asia 2018将于8月在北京举行，目前正免费开放申请中，更多详情参考https://yq.aliyun.com/promotion/631 如果你对大数据存储、分布式数据库、HBase等感兴趣，欢迎加入我们，一起做最好的大数据在线存储，职位参考及联系方式：https://maimai.cn/job?webjid=1...
DATAX日常踩坑
weixin_44273391的博客
09-22 1万+
DATAX日常踩坑 2019-09-22 17:14:49.482 [job-0] ERROR RetryUtil - Exception when calling callable, 异常Msg:Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - ...
spark本地提交集群运行踩过的坑
weixin_44273391的博客
11-02 2674
spark本地提交集群运行踩过的坑 1.本地提交，集群跑spark程序设置(scala) val conf = new SparkConf().setAppName("SparkWordCount") conf.setMaster("spark://hadoop-01:7077") conf.setJars(Array("D:\\hadoop\\spark\\target\\zb...
azkaban多个executor部署
weixin_44273391的博客
09-25 1851
azkaban多个executor部署 多executor部署介绍 Azkaban3.0+版本提供了三种安装模式： 单solo-server mode：单机模式，适合开发使用。使用内置的h2数据库， web server和executor server在同一个进程里； two server mode：双机模式，适合生产环境。使用主从的MySQL做元数据存储，web server和 executor...
kylin遇见的错误
weixin_44273391的博客
12-03 1363
kylin遇见的错误 0.普通问题 0.1 java.net.ConnectException: Call From MyDis/192.168.182.86 to MyDis:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: htt...
hive基础语法二
weixin_44273391的博客
09-20 1125
hive语句二 分区表概念 分区意义： 避免全表扫描，从而提高查询效率；默认使用全表扫描。 使用什么样的分区： 日期、区域、能将数据分散开来 分区技术： [PARTITIONED BY (COLUMNNAME COLUMNTYPE [COMMENT 'COLUMN COMMENT'],...)] 1.hive的分区名区分大小写 2.hive的分区字段是一个伪字段，但是可以用来进行操作 3.一个表可...
azkaban安装Solo Server
weixin_44273391的博客
09-25 874
azkaban安装 Solo Server azkaban 3.57.0 编译 1、下载源码包 官网地址为:https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz 清空编译 结果如下： [root@hadoop01 home]# tar -zxvf /home/azkaban-3.57.0.tar.gz -C /usr/local [roo...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值