hbase shell脚本

最新推荐文章于 2023-04-25 15:59:32 发布
最新推荐文章于 2023-04-25 15:59:32 发布
阅读量817 收藏
点赞数
分类专栏： hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanpengs/article/details/8544217
版权
hbase 同时被 2 个专栏收录
24 篇文章 0 订阅
订阅专栏
hadoop
21 篇文章 0 订阅
订阅专栏

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：

名称

命令表达式

创建表

create '表名称', '列名称1','列名称2','列名称N'

添加记录     

put '表名称', '行名称', '列名称:', '值'

查看记录

get '表名称', '行名称'

查看表中的记录总数

count  '表名称'

删除记录

delete  '表名' ,'行名称' , '列名称'

删除一张表

先要屏蔽该表，才能对该表进行删除，第一步 disable '表名称' 第二步  drop '表名称'

查看所有记录

scan "表名称" 

查看某个表某个列中所有数据

scan "表名称" , ['列名称:']

更新记录

就是重写一遍进行覆盖

下面是一些常见命令的说明，在hbaseshell中输入help的帮助信息，在本文中，我们先介绍前3个，后面2个，将在下一篇博文中介绍。

COMMAND GROUPS:

  Group name: general

  Commands: status, version

  Group name: ddl

  Commands: alter, create, describe, disable,drop, enable, exists, is_disabled, is_enabled, list

  Group name: dml

  Commands: count, delete, deleteall, get,get_counter, incr, put, scan, truncate

  Group name: tools

  Commands: assign, balance_switch, balancer,close_region, compact, flush, major_compact, move, split, unassign, zk_dump

  Group name: replication

  Commands: add_peer, disable_peer,enable_peer, remove_peer, start_replication, stop_replication

 

一、一般操作

1.查询服务器状态

hbase(main):024:0>status

3 servers, 0 dead,1.0000 average load

2.查询hive版本

hbase(main):025:0>version

0.90.4, r1150278,Sun Jul 24 15:53:29 PDT 2011

二、DDL操作

1.创建一个表

hbase(main):011:0>create 'member','member_id','address','info'  

0 row(s) in 1.2210seconds

2.获得表的描述

hbase(main):012:0>list

TABLE                                                                                                                                                      

member                                                                                                                                                     

1 row(s) in 0.0160seconds

hbase(main):006:0>describe 'member'

DESCRIPTION                                                                                          ENABLED                                              

{NAME => 'member', FAMILIES => [{NAME=> 'address', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', true                                                

  VERSIONS => '3', COMPRESSION => 'NONE',TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'fa                                                      

lse', BLOCKCACHE => 'true'}, {NAME =>'info', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSI                                                      

ONS => '3', COMPRESSION => 'NONE', TTL=> '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false',                                                       

BLOCKCACHE => 'true'}]}                                                                                                                                   

1 row(s) in 0.0230seconds

3.删除一个列族，alter，disable，enable

我们之前建了3个列族，但是发现member_id这个列族是多余的，因为他就是主键，所以我们要将其删除。

hbase(main):003:0>alter 'member',{NAME=>'member_id',METHOD=>'delete'}

ERROR: Table memberis enabled. Disable it first before altering.

报错，删除列族的时候必须先将表给disable掉。

hbase(main):004:0>disable 'member'                                  

0 row(s) in 2.0390seconds

hbase(main):005:0>alter'member',{NAME=>'member_id',METHOD=>'delete'}

0 row(s) in 0.0560seconds

hbase(main):006:0>describe 'member'

DESCRIPTION                                                                                          ENABLED                                              

{NAME => 'member', FAMILIES => [{NAME=> 'address', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0',false                                                

  VERSIONS => '3', COMPRESSION => 'NONE',TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'fa                                                      

lse', BLOCKCACHE => 'true'}, {NAME =>'info', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSI                                                      

ONS => '3', COMPRESSION => 'NONE', TTL=> '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false',                                                       

BLOCKCACHE => 'true'}]}                                                                                                                                   

1 row(s) in 0.0230seconds

该列族已经删除，我们继续将表enable

hbase(main):008:0> enable 'member' 

0 row(s) in 2.0420seconds

4.列出所有的表

hbase(main):028:0>list

TABLE                                                                                                                                                      

member                                                                                                                                                     

temp_table                                                                                                                                                 

2 row(s) in 0.0150seconds

5.drop一个表

hbase(main):029:0>disable 'temp_table'

0 row(s) in 2.0590seconds

hbase(main):030:0>drop 'temp_table'

0 row(s) in 1.1070seconds

6.查询表是否存在

hbase(main):021:0>exists 'member'

Table member doesexist                                                                                                                                    

0 row(s) in 0.1610seconds

7.判断表是否enable

hbase(main):034:0>is_enabled 'member'

true                                                                                                                                                       

0 row(s) in 0.0110seconds

8.判断表是否disable

hbase(main):032:0>is_disabled 'member'

false                                                                                                                                                      

0 row(s) in 0.0110seconds

三、DML操作

1.插入几条记录

put'member','scutshuxue','info:age','24'

put'member','scutshuxue','info:birthday','1987-06-17'

put'member','scutshuxue','info:company','alibaba'

put'member','scutshuxue','address:contry','china'

put'member','scutshuxue','address:province','zhejiang'

put'member','scutshuxue','address:city','hangzhou'

put'member','xiaofeng','info:birthday','1987-4-17'

put'member','xiaofeng','info:favorite','movie'

put'member','xiaofeng','info:company','alibaba'

put'member','xiaofeng','address:contry','china'

put'member','xiaofeng','address:province','guangdong'

put'member','xiaofeng','address:city','jieyang'

put'member','xiaofeng','address:town','xianqiao'

2.获取一条数据

获取一个id的所有数据

hbase(main):001:0>get 'member','scutshuxue'

COLUMN                                   CELL                                                                                                              

address:city                           timestamp=1321586240244, value=hangzhou                                                                           

address:contry                         timestamp=1321586239126, value=china                                                                              

address:province                       timestamp=1321586239197, value=zhejiang                                                                           

info:age                               timestamp=1321586238965, value=24                                                                                 

info:birthday                          timestamp=1321586239015, value=1987-06-17                                                                         

info:company                           timestamp=1321586239071, value=alibaba                                                                            

6 row(s) in 0.4720seconds

获取一个id，一个列族的所有数据

hbase(main):002:0>get 'member','scutshuxue','info'

COLUMN                                   CELL                                                                                                              

info:age                               timestamp=1321586238965, value=24                                                                                 

info:birthday                          timestamp=1321586239015, value=1987-06-17                                                                         

info:company                           timestamp=1321586239071, value=alibaba                                                                            

3 row(s) in 0.0210seconds

获取一个id，一个列族中一个列的所有数据

hbase(main):002:0>get 'member','scutshuxue','info:age' 

COLUMN                                   CELL                                                                                                              

info:age                               timestamp=1321586238965, value=24                                                                                 

1 row(s) in 0.0320seconds

6.更新一条记录

将scutshuxue的年龄改成99

hbase(main):004:0>put 'member','scutshuxue','info:age' ,'99'

0 row(s) in 0.0210seconds

hbase(main):005:0>get 'member','scutshuxue','info:age' 

COLUMN                                   CELL                                                                                                              

info:age                               timestamp=1321586571843, value=99                                                                                 

1 row(s) in 0.0180seconds

3.通过timestamp来获取两个版本的数据

hbase(main):010:0>get 'member','scutshuxue',{COLUMN=>'info:age',TIMESTAMP=>1321586238965}

COLUMN                                   CELL                                                                                                              

info:age                               timestamp=1321586238965, value=24                                                                                 

1 row(s) in 0.0140seconds

hbase(main):011:0>get 'member','scutshuxue',{COLUMN=>'info:age',TIMESTAMP=>1321586571843}

COLUMN                                   CELL                                                                                                              

info:age                               timestamp=1321586571843, value=99                                                                                 

1 row(s) in 0.0180seconds

4.全表扫描：

hbase(main):013:0>scan 'member'

ROW                                     COLUMN+CELL                                                                                                       

scutshuxue                             column=address:city, timestamp=1321586240244, value=hangzhou                                                      

scutshuxue                             column=address:contry, timestamp=1321586239126, value=china                                                       

scutshuxue                             column=address:province, timestamp=1321586239197, value=zhejiang                                                  

scutshuxue                              column=info:age,timestamp=1321586571843, value=99                                                                

scutshuxue                             column=info:birthday, timestamp=1321586239015, value=1987-06-17                                                   

scutshuxue                             column=info:company, timestamp=1321586239071, value=alibaba                                                       

temp                                   column=info:age, timestamp=1321589609775, value=59                                                                

xiaofeng                               column=address:city, timestamp=1321586248400, value=jieyang                                                       

xiaofeng                               column=address:contry, timestamp=1321586248316, value=china                                                       

xiaofeng                               column=address:province, timestamp=1321586248355, value=guangdong                                                 

xiaofeng                               column=address:town, timestamp=1321586249564, value=xianqiao                                                      

xiaofeng                               column=info:birthday, timestamp=1321586248202, value=1987-4-17                                                    

xiaofeng                               column=info:company, timestamp=1321586248277, value=alibaba                                                       

xiaofeng                               column=info:favorite, timestamp=1321586248241, value=movie                                                        

3 row(s) in 0.0570seconds

5.删除id为temp的值的‘info:age’字段

hbase(main):016:0>delete 'member','temp','info:age'

0 row(s) in 0.0150seconds

hbase(main):018:0>get 'member','temp'

COLUMN                                   CELL                                                                                                              

0 row(s) in 0.0150seconds

6.删除整行

hbase(main):001:0>deleteall 'member','xiaofeng'

0 row(s) in 0.3990seconds

7.查询表中有多少行：

hbase(main):019:0>count 'member'                                        

2 row(s) in 0.0160seconds

8.给‘xiaofeng’这个id增加'info:age'字段，并使用counter实现递增

hbase(main):057:0*incr 'member','xiaofeng','info:age'                    

COUNTER VALUE = 1

hbase(main):058:0>get 'member','xiaofeng','info:age' 

COLUMN                                   CELL                                                                                                              

info:age                               timestamp=1321590997648, value=\x00\x00\x00\x00\x00\x00\x00\x01                                                   

1 row(s) in 0.0140seconds

hbase(main):059:0>incr 'member','xiaofeng','info:age'

COUNTER VALUE = 2

hbase(main):060:0>get 'member','xiaofeng','info:age' 

COLUMN                                   CELL                                                                                                              

info:age                               timestamp=1321591025110, value=\x00\x00\x00\x00\x00\x00\x00\x02                                                   

1 row(s) in 0.0160seconds

获取当前count的值

hbase(main):069:0>get_counter 'member','xiaofeng','info:age'

COUNTER VALUE = 2

 

9.将整张表清空：

hbase(main):035:0>truncate 'member'

Truncating 'member'table (it may take a while):

- Disabling table...

- Dropping table...

- Creating table...

0 row(s) in 4.3430seconds

可以看出，hbase是先将掉disable掉，然后drop掉后重建表来实现truncate的功能的。

袁先生的博客
关注
专栏目录
5.hbase表新增数据同步之add_peer
weixin_30600197的博客
04-18 1384
一.前提主从集群之间能互相通讯； 二.在cluster1上（源集群）： 1.查看集群已开启的peers hbase(main):011:0> list_peers PEER_ID CLUSTER_KEY STATE TABLE_CFS 10 slave.01.bigdata.prod.wgq,slave.02.bigdata.prod.wgq,slave.03.big...
Hbase shell 常用命令（1）
热门推荐
scutshuxue的专栏
11-18 25万+
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下： 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录       put '表名称', '行名称', '列名称:', '值' 查看记录
hbase基本命令
rc123的博客
06-09 173
首先进入shell root@aly:/home/hbase-0.94.7-security/bin# ./hbase shell 查看帮助 hbase(main):001:0> help 查看集群 hbase(main):002:0> status 1 servers, 0 dead, 2.0000 average load 几个服务器，几个死掉了，负荷多少 创建表 ...
向hbase的rowkey中插入‘\x00’
高矮
03-15 5655
由于场景需要，需要向hbase中插入包含‘\x00’的rowkey,例： 起初以为直接以拼接字符串的形式往里插就可以，但是读源码发现hbase会对\做二进制转译，如下： ‘\’会被转译为\x5c 解决办法：我们在插入数据的时候直接以byte[] 的形式往hbase表插，代码如下：   public class Test_DESC {     public static voi...
HBase 深入浅出
05-15 485
HBase 在大数据生态圈中的位置 提到大数据的存储，大多数人首先联想到的是 Hadoop 和 Hadoop 中的 HDFS 模块。大家熟知的 Spark、以及 Hadoop 的 MapReduce，可以理解为一种计算框架。而 HDFS，我们可以认为是为计算框架服务的存储层。因此不管是 Spark 还是 MapReduce，都需要使用 HDFS 作为默认的持久化存储层。那么 HBase 又是
hbase-shell批量命令执行脚本的方法
01-10
批量执行hbase shell 命令 #!/bin/bash source /etc/profile ...以上这篇hbase-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。
HBase Shell命令行操作实验
最新发布
qq_35447918的博客
04-25 1370
1 HBase的访问方式和HBase Shell 1.1 HBase Shell命令行终端 1.进入HBase Shell终端环境 HBase Shell是由Apache HBase官方提供的Shell命令行操作接口，是一个基于Ruby脚本语言的终端环境。利用HBase Shell用户可以方便地执行终端命令来操作HBase，进行HBase数据表的创建、删除和修改，列出表信息，读取表数据，插入表数据，删除表数据等操作。 进入HBase shell终端环境之前，要先在LinuxShell命令行终端
hbase的搭建、hbase shell的使用、Hbase的Python操作、Hbase整合Hive
weixin_50722238的博客
10-18 1394
搭建hbase
Linux自动安装Hbase（伪分布）（Shell脚本）
12-04
需要自己先安装jdk和Hadoop，也可以去这里https://download.csdn.net/download/weixin_44033210/12657718，https://download.csdn.net/download/weixin_44033210/12657738，这里有自动安装jdk和Hadoop的脚本
hbase shell常用命令
个人技术博客
05-15 1372
hbase shell常用命令
HBASE修炼之路——00002(HBase shell)
walteryanghh的博客
02-25 358
一、数据定义语言（DDL）：Data Definition Language 1、创建表 create ‘s_behavior’,{NAME => ‘pc’} ,{NAME => ‘ph’} 2、查看所有表： list 3、查看建表语句： describe ‘s_behavior’ 4、修改表： 1）下线： disable ‘s_behavior’ 2）修改： al...
HBase shell 中的十六进制数值表示
weixin_30752377的博客
06-28 687
在使用Hbase shell 进行get 或scan操作时,时不时会看到一些数值被转成了16进制, 就像下面那样 value=W\x5C5\x80 那么这个值具体等于多少? 查阅资料后发现算法如下 W -> W的ASCII码16进制 为 0x57 \x5C -> 就是16进制不变 0x5C 5 -> 5的ASCII码16进制 为 0x35 \x80 -> 就...
hbase 学习（十三）集群间备份原理
weixin_34112181的博客
05-02 126
　　集群建备份，它是master/slaves结构式的备份，由master推送，这样更容易跟踪现在备份到哪里了，况且region server是都有自己的WAL 和HLog日志，它就像mysql的主从备份结构一样，只有一个日志来跟踪。一个master集群可以向多个slave集群推送，收到推送的集群会覆盖它本地的edits日志。 　　这个备份操作是异步的，这意味着，有时候他们的连接可能是断开的，m...
HBase的Linux Shell命令操作
张俊杰 的博客
11-29 1847
给bin目录配置到环境变量里面 不然的话每次使用HBase命令都得去HBase的bin目录下面去操作. 注意事项 1.在hbase shell中不要敲 ;，如果敲了;，需要敲两个 单引号结束！ 在hbase shell中如果需要使用上下方向键查找历史命令，需要查看xshell的设置配置图！ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GRBllafN-1606637569948)(https://gitee.com/crow1/picture_bed/raw/mas
HBase 串行复制
datacreating的博客
03-13 252
HBase 提供了一种集群复制机制，允许您使用源集群的预写日志 (WAL) 来传播更改，从而使一个集群的状态与另一个集群的状态保持同步。集群复制的一些用例包括：备份和灾难恢复数据聚合地理数据分布在线数据摄取与离线数据分析相结合一、串行复制注意：此功能在 HBase 2.1 中引入串行复制支持按照日志到达源集群的顺序将日志推送到目标集群，在 HBase 的复制中，我们通过读取每个区域服务器中的 WAL 将突变推送到目标集群。我们有一个 WAL 文件队列，因此我们可以按照创建时间的顺序读取它们。
HBase复制详解
cihongmo6452的博客
04-08 1218
最近公司需要完成HBase线上跨机房的数据迁移，于是开始调研HBase的迁移方案。经过大量的查阅资料，最终把方案定格在了CopyTable+Replication上，跟业界一些HBase的大牛了解到，这也是业界的常用做法。CopyTable的原理很简单，利用MR任务，并行scan从源表获取数据...
HBase_HBase 2.0 Shell 操作指南
迎难而上
05-01 1195
HBase 的Shell 是操作HBase 的重要手段。 下面我们讲解下Hbase Shell 都能完成那些功能。 目录 启动Hbase Shell 帮助 退出 debug 模式 输入截至 ...
如何在 HBase Shell 命令行正常查看十六进制编码的中文？哈哈~
weixin_42047967的博客
04-27 2231
今天比较开心，只想哈哈哈哈哈 啥也不多说了，直接看示例吧！绝对比我口才好~ hbase(main):050:0> scan 'test' ROW COLUMN+CELL row-1 column=f:c...
HBase Shell基础及常用命令深度解析
HBase Shell是HBase数据库的交互式命令行工具，用于管理和操作HBase环境。本文将详细介绍HBase Shell的基础知识和常用命令，帮助你理解这个分布式、列式NoSQL数据库的核心组件和工作原理。 首先，HBase是Google ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值