参考
Overview (Apache HBase 3.0.0-alpha-2-SNAPSHOT API)
启动/停止 HBase
# 启动 HBase Shel
hbase shell
页面访问
# 格式
HBase Master的ip:16010
# 示例
# 想要这样访问需要配置域名映射
node1:16010
索引说明
① get 查询
get '表名','rowkey'
② scan 查询(完整的 rowkey 或者 rowkey 前缀)
scan '表名', {ROWPREFIXFILTER => 'rowkey'}
系统的操作
显示服务器的状态
status
显示HBase当前用户
whoami
NameSpace 操作
显示当前的 NameSpace
list_namespace
# 注:hbase namespace 是 hbase 系统自带的默认 namespace
创建 NameSpace
# 格式
create_namespace '名称'
# 示例:创建一个名称为 'dev' 的 NameSpace
create_namespace 'dev'
显示指定 NameSpace 下的表
# 格式
list_namespace_tables '名称'
删除 NameSpace
# 格式
# 只能删除空的 namespace , 如果有表则无法删除
drop_namespace '名称'
# 示例
drop_namespace 'dev'
表的操作
创建表
注意:创建表create 要写成小写,一个表可以包含若干个列蔟
版本是相对于列族而言的,不同的列族可以设置不同的版本
# 格式
create '表名称','列族';
# 格式:创建多个列族并指定多个版本
create '表名',{NAME='列族名1',VERSIONS=给定一个版本号},{NAME='列族名2',VERSIONS=给定的版本号}
# 示例:创建订单表,表名为ORDER_INFO,该表有一个列蔟为C1
create 'ORDER_INFO','C1';
# 示例:创建订单表,表名为ORDER_INFO,该表有两个列蔟为C1、C2
# 可以创建多个
create 'ORDER_INFO','C1','C2';
# 示例:在 dev 的 namespace 中创建一张表 t1 , 这张表有一个列族 C1 ,这个列族多有的列可以存储 5 个版本的值
# 缺省默认版本数量为 1
create 'dev:t1',{NAME => 'C1',VERSIONS =>5}
查看表
# 查看表
list
查看表是否存在
# 格式:检查表是否存在,适用于表量特别多的情况
exists '表名称'
# 示例
exists 'ORDER_INFO'
查看表结构
可以查看表的压缩算法
# 格式
describe '表名称'
# 示例
describe 'ORDER_INFO'
检查表是否启用或禁用
# 查看表是否启用
is_enabled 'ORDER_INFO'
# 查看表是否禁用
is_disabled 'ORDER_INFO'
禁用/启用表
# 格式:禁用表
disable '表名称';
# 格式:启用表
enable '表名称';
# 示例:禁用 emp 表
disable 'ORDER_INFO_TEMP';
修改表
该命令可以改变表和列族的模式
# 创建一个USER_INFO表,两个列蔟C1、C2
create 'USER_INFO', 'C1', 'C2'
# 新增列蔟C3
alter 'USER_INFO', 'C3'
# 删除列蔟C3
alter 'USER_INFO', 'delete' => 'C3'
清除表中的数据
# 格式
truncate "表名"
# 示例:清空 ORDER_INFO 表中的数据
truncate 'ORDER_INFO_TEMP'
删除表
注意:用 drop 命令可以删除表。在删除一个表之前必须先将其禁用
# 格式
drop '表名';
# 示例:删除 emp 表
drop 'ORDER_INFO_TEMP';
数据操作
查询某个Rowkey的数据
注意:只能查询一行数据,且查询走索引
# 格式
get '表名','rowkey'
get '命名空间:表名','行键值',[列族,列]
get 'ns:tbname','rowkey'
get 'ns:tbname','rowkey',[cf]
get 'ns:tbname','rowkey',[cf:col]
# 示例:将 rowkey 为 000001 对应的数据查询出来
get 'ORDER_INFO','000001'
# 示例:将 rowkey 为 000001 对应的数据的 CNT 字段查询出来
get 'NEWS_VISIT_CNT','0000000020_01:00-02:00','C1:CNT'
显示为中文
注意:在 HBase shell 中,如果在数据中出现了一些中文,默认 HBase shell 中显示出来的是十六进制编码。要想将这些编码显示为中文,需要添加属性
# 格式
# FORMATTER 要使用大写
# {key => value},这个是 Ruby 语法,表示定义一个 HASH 结构
get '表名','rowkey', {FORMATTER => 'toString'}
# 示例
get 'ORDER_INFO','000001', {FORMATTER => 'toString'}
添加数据
# 格式:put一次只能保存一个列的值
put '表名','ROWKEY','列蔟名:列名','值'
# 添加数据
# 注意:这只是一行数据
put 'ORDER_INFO','000001','C1:ID','000001'
put 'ORDER_INFO','000001','C1:STATUS','已提交'
put 'ORDER_INFO','000001','C1:PAY_MONEY',4070
put 'ORDER_INFO','000001','C1:PAYWAY',1
put 'ORDER_INFO','000001','C1:USER_ID',4944191
put 'ORDER_INFO','000001','C1:OPERATION_DATE','2020-04-25 12:09:16'
put 'ORDER_INFO','000001','C1:CATEGORY','手机;'
添加数据并指定时间戳
# 格式:put一次只能保存一个列的值
put '表名','ROWKEY','列蔟名:列名','值',时间戳
# 示例:添加数据,并指定时间戳为 1
put 'stu', '0001', 'info:address', "Beijing", 1
更新数据
注意:HBase 中会自动维护数据的版本,每当执行一次 put 后,都会重新生成新的时间戳
# 格式:put一次只能保存一个列的值
put '表名','ROWKEY','列蔟名:列名','值'
# 示例:将 000001 行的 STATUS 列的值修改为 已付款
put 'ORDER_INFO', '000001', 'C1:STATUS', '已付款'
删除指定的列值
在 HBase
中,可以使用 delete
命令来将一个单元格的数据删除,由于 HBASE
操作会保存多个时间戳版本的数据,所以 delete
将是最新版本
# 格式
delete '表名', 'rowkey', '列蔟:列'
# 示例:将 000001 行的 STATUS 列的值删除
delete 'ORDER_INFO','000001','C1:STATUS'
删除指定的行
deleteall 命令可以将指定 rowkey 对应的所有列全部删除
# 格式
deleteall '表名','rowkey'
# 示例
deleteall 'ORDER_INFO','000001'
数据删除说明
HBase 数据删除说明
① 删除一个列的指定版本
② 删除一个列的所有版本
③ 删除指定列族的所有列
注意
HBase 删除数据,并不是马上删掉,只是对数据打一个删除标记,真正删除数据是等到下一次 major_compact
(除非KEEP_DELETED_CELLS=true
)。当删除整行时,HBase
会给这条数据每个列族打一个删除标记
示例:当前有一张表
# 建表语句
create 'stu', {NAME => 'info', VERSIONS => 3}
# 插入数据
put 'stu', '0001', 'info:address', "address1", 1
put 'stu', '0001', 'info:address', "address1", 2
put 'stu', '0001', 'info:address', "address1", 3
查看所有版本的数据
scan 'stu', {RAW=>true, VERSIONS=>3}
删除 info
列的第二个版本
# 此时出现墓碑标记
delete 'stu', '0001', 'info:address', 2
执行手动 flush
# 墓碑标记被清除,数据版本被标记
flush 'stu'
执行合并 major_compact
# 被删除的版本彻底删除
major_compact 'stu'
数据导入
执行HBase Shell 脚本
hbase shell /opt/server/ORDER_INFO.txt
计数
少量数据统计
注意:数据量比较大的时候,耗时
# 格式
count '表名称'
# 示例:查询订单表的数量
count 'ORDER_INFO'
海量数据统计
# 使用HBase中提供的MapReduce程序来进行计数统计
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter '表名'
# 示例
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'ORDER_INFO'
Scan查询操作
扫描指定表中的数据
注意:不要扫描大表
# 格式
scan '表名'
# 示例:
scan 'ORDER_INFO',{FORMATTER => 'toString'}
LIMIT
# 只显示 3 条数据
scan 'ORDER_INFO', {LIMIT => 3, FORMATTER => 'toString'}
只查询某几列数据
# 只查询 STATUS 和 PAYWAY 字段的数据
scan 'ORDER_INFO', {LIMIT => 3, COLUMNS => ['C1:STATUS', 'C1:PAYWAY'], FORMATTER => 'toString'}
查询指定的行
# 格式:
scan '表名', {ROWPREFIXFILTER => 'rowkey'}
# 示例:查询 '02602f66-adc7-40d4-8485-76b5632b5b53' 行的数据,只显示 STATUS 和 PAYWAY 字段的数据
scan 'ORDER_INFO', {ROWPREFIXFILTER => '02602f66-adc7-40d4-8485-76b5632b5b53', COLUMNS => ['C1:STATUS', 'C1:PAYWAY'], FORMATTER => 'toString'}
查询多个版本的数据
# 格式:查询多少个版本的数据
# 如果想要查看多个版本的数据,在建表的时候必须指定多版本
# scan 默认是只查看最新版本的数据
scan '表名称', {VERSIONS=>要查看的版本数量}
# 示例:查询 3 个版本的数据,行键为 0001
scan 'stu', {ROWPREFIXFILTER=>'0001',VERSIONS=>3}
查询墓碑标记的数据
注:所谓墓碑标记的数据指的是,当多版本的表删除了某个版本的字段数据后,如果 HDFS
文件没有合并,删除的记录仍然存在,被打上墓碑标记的记录在HFile合并时才会被真正的删除
# 格式:查询多少个版本的数据,只有 RAW=true才能看到墓碑数据
scan '表名称', {RAW=>true, VERSIONS=>要查看的版本数量}
# 示例:查询 3 个版本的数据,行键为 0001
scan 'stu', {RAW=>true, VERSIONS=>3}
查询指定前缀的行
# 格式:该前缀只能是 ROWKEY 的前缀,其它列的前缀没效果
scan '表名', {ROWPREFIXFILTER => '前缀'}
# 示例:查询 '02602f66-adc7' 行的数据,只显示 STATUS 和 PAYWAY 字段的数据
scan 'ORDER_INFO', {ROWPREFIXFILTER => '02602f66-adc7',FORMATTER => 'toString'}
查询指定范围的行
# 格式:
# STARTROW:从某个rowkey开始,包含,闭区间
# STOPROW:到某个rowkey结束,不包含,开区间
scan '表名称',{STARTROW=>'范围开始',STOPROW=>'范围结束'}
# 示例:
scan 'default:ORDER_INFO',{STARTROW=>'20210101_000',STOPROW=>'20210101_007'}
过滤器
说明
在 HBase 中,如果要对海量的数据来进行查询,此时基本的操作是比较无力的。此时,需要借助 HBase 中的高级语法 ——Filter 来进行查询。Filter可以根据列簇、列、版本等条件来对数据进行过滤查询。因为在 HBase 中,主键、列、版本都是有序存储的,所以借助Filter,可以高效地完成查询。当执行 Filter 时,HBase 会将 Filte r分发给各个 HBase 服务器节点来进行查询
HBase 中的过滤器也是基于 Java 开发的,只不过在 Shell 中,我们是使用基于 JRuby 的语法来实现的交互式查询
常用的过滤器
rowkey 过滤器 | RowFilter | 实现行键字符串的比较和过滤 |
---|---|---|
PrefixFilter | rowkey前缀过滤器 | |
KeyOnlyFilter | 只对单元格的键进行过滤和显示,不显示值 | |
FirstKeyOnlyFilter | 只扫描显示相同键的第一个单元格,其键值对会显示出来 | |
InclusiveStopFilter | 替代 ENDROW 返回终止条件行 | |
列过滤器 | FamilyFilter | 列簇过滤器 |
QualifierFilter | 列标识过滤器,只显示对应列名的数据 | |
ColumnPrefixFilter | 对列名称的前缀进行过滤 | |
MultipleColumnPrefixFilter | 可以指定多个前缀对列名称过滤 | |
ColumnRangeFilter | 过滤列名称的范围 | |
值过滤器 | ValueFilter | 值过滤器,找到符合值条件的键值对 |
SingleColumnValueFilter | 在指定的列族和列中进行比较的值过滤器 | |
SingleColumnValueExcludeFilter | 排除匹配成功的值 | |
其他过滤器 | ColumnPaginationFilter | 对一行的所有列分页,只返回 [offset,offset+limit] 范围内的列 |
PageFilter | 对显示结果按行进行分页显示 | |
TimestampsFilter | 时间戳过滤,支持等值,可以设置多个时间戳 | |
ColumnCountGetFilter | 限制每个逻辑行返回键值对的个数,在 get 方法中使用 | |
DependentColumnFilter | 允许用户指定一个参考列或引用列来过滤其他列的过滤器 |
使用格式
# 格式
scan '表名', { Filter => "过滤器(比较运算符, '比较器表达式')" }
比较运算符
比较运算符 | 描述 |
---|---|
= | 等于 |
> | 大于 |
>= | 大于等于 |
< | 小于 |
<= | 小于等于 |
!= | 不等于 |
比较器
基本语法:比较器类型:比较器的值
比较器 | 表达式语言缩写 |
---|---|
BinaryComparator | binary:值 |
BinaryPrefixComparator | binaryprefix:值 |
BitComparator | bit:值 |
NullComparator | null |
RegexStringComparator | regexstring:正则表达式 |
SubstringComparator | substring:值 |
使用 RowFilter 查询指定订单 ID 的数据
scan 'ORDER_INFO', {FILTER => "RowFilter(=,'binary:02602f66-adc7-40d4-8485-76b5632b5b53')"}
查询状态为「已付款」的订单
scan 'ORDER_INFO', {FILTER => "SingleColumnValueFilter('C1', 'STATUS', =, 'binary:已付款')", FORMATTER => 'toString'}
查询支付方式为1,且金额大于3000的订单
# 查询支付方式为1
SingleColumnValueFilter('C1', 'PAYWAY', = , 'binary:1')
# 查询金额大于3000的订单
SingleColumnValueFilter('C1', 'PAY_MONEY', > , 'binary:3000')
scan 'ORDER_INFO', {FILTER => "SingleColumnValueFilter('C1', 'PAYWAY', = , 'binary:1') AND SingleColumnValueFilter('C1', 'PAY_MONEY', > , 'binary:3000')", FORMATTER => 'toString'}
INCR
# 对指定的字段进行累加操作
incr 'NEWS_VISIT_CNT','0000000020_01:00-02:00','C1:CNT'
常见的错误
命令无法执行,一直在换行
命令中可能未加 ' '
结束符号,需要手动结束
>'
Master is initializing
重新安装 hbase
后,旧的元数据信息没有删除,使用 zookeeper
删除 hbase
元数据后重启 hbase
即可
# 进入 zookeeper 的安装目录
/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/zookeeper/bin
# 进入 zookeeper 的命令行模式
./zkCli.sh
# 删除服务
rmr /hbase/meta-region-server
# 推出并重启 hbase
quit
region(s) in Transition for more tan … milliseconds
在执行 Region Split 时,因为系统中断(程序崩溃)或者 HDFS 中的 Region 文件已经被删除,先看下 HBase
进程还在不
解决方案:增加 HBase
的堆栈大小