hbase使用记录

最新推荐文章于 2024-08-14 16:42:19 发布

ducode

最新推荐文章于 2024-08-14 16:42:19 发布

阅读量242

点赞数

文章标签：大数据 java 数据库

原文链接：https://my.oschina.net/112612/blog/3058122

版权

为什么80%的码农都做不了架构师？>>>

hbase数据存储格式

HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。

HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。如上图所示。key1, key2, key3是三条记录的唯一的row key值，column-family1, column-family2, column-family3是三个列族，每个列族下又包括几列。比如 column-family1这个列族下包括两列，名字是column1和column2。t1:abc,t2:gdxdf是由row key1和column-family1-column1唯一确定的一个单元cell。这个cell中有两个数据，abc和gdxdf。两个值的时间戳不一样，分别是t1,t2, hbase会返回最新时间的值给请求者。

hbase基本操作

hbase shell (ddl操作)

list：查看所有表
scan 查看表中所有数据

scan "table_name" ,{LIMIT=>10} //LIMIT=>10只返回10条记录，否则全部展示
create 创建表

create '表名','family1','family2','family3'
put 增加记录

put 'table_name', 'rowkey', 'family:column', 'value'
get 查看记录

get 'table_name', 'rowkey'
cout 查看表中的记录总数

count 'table_name'
delete 删除记录

delete 'table_name' ,'rowkey','family_name:column' //该方式删除一条记录单列的数据

deleteall 'table_name','rowkey' //该方式删除整条记录
删除表中所有数据

truncate 't1'
删除一张表

先 disable 'table_name'

在 drop 'table_name'
获得表的描述

describe 'table_name'

修改一个列族

#disable alter enable
disable 'table1'
alter 'table1', {NAME=>'tab1_add', METHOD=>'delete'}
enable 'table1'

查看表是否存在

exists 'table2
判断表是否为enable 和 disable

is_enabled 'table1'

``is_disabled 'table1'`

权限管理

分配权限

grant 'test','RW','t1'
查看权限

user_permission 't1' //查看表t1的权限
收回权限

revoke 'test','t1'
dml操作

Region管理

java api

踩坑记录

Caused by: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
	at org.apache.hadoop.hbase.client.RpcRetryingCaller.translateException(RpcRetryingCaller.java:229)
	at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:202)
	at org.apache.hadoop.hbase.client.ClientScanner.call(ClientScanner.java:326)
	at org.apache.hadoop.hbase.client.ClientScanner.nextScanner(ClientScanner.java:301)
	at org.apache.hadoop.hbase.client.ClientScanner.initializeScannerInConstruction(ClientScanner.java:166)
	at org.apache.hadoop.hbase.client.ClientScanner.<init>(ClientScanner.java:161)
	at org.apache.hadoop.hbase.client.HTable.getScanner(HTable.java:794)
	at org.springframework.data.hadoop.hbase.HbaseTemplate$1.doInTable(HbaseTemplate.java:132)
	at org.springframework.data.hadoop.hbase.HbaseTemplate.execute(HbaseTemplate.java:61)
	... 75 more
//发现是guava版本与hbase的版本不一致导致的
测试，hbase1.2.1：guava12-16，运行无误；guava17开始，同样出现标题异常

转载于:https://my.oschina.net/112612/blog/3058122