Hbase学习资料汇总

本文内容摘录自网上多路大神的博客，转载只为收藏，在此感谢多位博主的分享

HBase简介

HBase的名字的来源于Hadoop database，即hadoop数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，而且它是基于列的而不是基于行的模式。

HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。

hbase提供了一个shell的终端给用户交互。使用命令hbase shell进入命令界面。通过执行 help可以看到命令的帮助信息。

简介还可参考：

https://blog.csdn.net/yowoyn/article/details/79765132

https://blog.csdn.net/u011331430/article/details/79036441

HBase的表结构

HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。

如上图所示，key1,key2,key3是三条记录的唯一的row key值，column-family1,column-family2,column-family3是三个列族，每个列族下又包括几列。比如column-family1这个列族下包括两列，名字是column1和column2，t1:abc,t2:gdxdf是由row key1和column-family1-column1唯一确定的一个单元cell。这个cell中有两个数据，abc和gdxdf。两个值的时间戳不一样，分别是t1,t2, hbase会返回最新时间的值给请求者。

这些名词的具体含义如下：

(1) Row Key

与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：

(1.1) 通过单个row key访问

(1.2) 通过row key的range

(1.3) 全表扫描

Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。

存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)

注意：

字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。

行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。

(2) 列族 column family

hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history ， courses:math 都属于 courses 这个列族。

访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不能浏览所有数据）。

(3) 单元 Cell

HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( =<family> + <label>), version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。

(4) 时间戳 timestamp

每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。

原文链接：http://blog.pureisle.net/archives/1887.html

HBase 常用Shell命令

hbase shell命令	描述
alter	修改列族（column family）模式
count	统计表中行的数量
create	创建表
describe	显示表相关的详细信息
delete	删除指定对象的值（可以为表，行，列对应的值，另外也可以指定时间戳的值）
deleteall	删除指定行的所有元素值
disable	使表无效
drop	删除表
enable	使表有效
exists	测试表是否存在
exit	退出hbase shell
get	获取行或单元（cell）的值
incr	增加指定表，行或列的值
list	列出hbase中存在的所有表
put	向指向的表单元添加值
tools	列出hbase所支持的工具
scan	通过对表的扫描来获取对用的值
status	返回hbase集群的状态信息
shutdown	关闭hbase集群（与exit不同）
truncate	重新创建指定表
version	返回hbase版本信息

要注意shutdown与exit之间的不同：shutdown表示关闭hbase服务，必须重新启动hbase才可以恢复，exit只是退出hbase shell,退出之后完全可以重新进入。

     hbase使用坐标来定位表中的数据，行健是第一个坐标，下一个坐标是列族。

     hbase是一个在线系统，和hadoop mapreduce的紧密结合又赋予它离线访问的功能。

     hbase接到命令后存下变化信息或者写入失败异常的抛出，默认情况下。执行写入时会写到两个地方：预写式日志（write-ahead log,也称hlog）和memstore,以保证数据持久化。memstore是内存里的写入缓冲区。客户端在写的过程中不会与底层的hfile直接交互，当menstore写满时，会刷新到硬盘，生成一个新的hfile.hfile是hbase使用的底层存储格式。menstore的大小由hbase-site.xml文件里的系统级属性hbase.hregion.memstore.flush.size来定义。

      hbase在读操作上使用了lru缓存机制（blockcache），blockcache设计用来保存从hfile里读入内存的频繁访问的数据，避免硬盘读。每个列族都有自己的blockcache。blockcache中的block是hbase从硬盘完成一次读取的数据单位。block是建立索引的最小数据单位，也是从硬盘读取的最小数据单位。如果主要用于随机查询，小一点的block会好一些，但是会导致索引变大，消耗更多内存，如果主要执行顺序扫描，大一点的block会好一些，block变大索引项变小，因此节省内存。

LRU是Least Recently Used 近期最少使用算法。内存管理的一种页面置换算法，对于在内存中但又不用的数据块（内存块）叫做LRU，操作系统会根据哪些数据属于LRU而将其移出内存而腾出空间来加载另外的数据。

 数据模型概括：

表（table）---------hbase用表来组织数据。表名是字符串（string）,由可以在文件系统路径里使用的字符组成。

行（row）---------在表里，数据按行存储。行由行健（rowkey）唯一标识。行健没有数据类型，总是视为字节数组byte[].

列族（column family）-----------行里的数据按照列族分组，列族也影响到hbase数据的物理存放。因此，它们必须事前定义并且不轻易修改。表中每行拥有相同列族，尽管行不需要在每个列族里存储数据。列族名字是字符串，由可以在文件系统路径里使用的字符组成。(HBase建表是可以添加列族，alter 't1', {NAME => 'f1', VERSIONS => 5} 把表disable后alter,然后enable)

列限定符（column qualifier）--------列族里的数据通过列限定符或列来定位。列限定符不必事前定义。列限定符不必在不同行之间保持一致，就像行健一样，列限定符没有数据类型，总是视为字节数组byte[].

单元（cell）-------行健，列族和列限定符一起确定一个单元。存储在单元里的数据称为单元值（value），值也没有数据类型，总是视为字节数组byte[].

时间版本（version）--------单元值有时间版本，时间版本用时间戳标识，是一个long。没有指定时间版本时，当前时间戳作为操作的基本。hbase保留单元值时间版本的数量基于列族进行配置。默认数量是3个。

   hbase在表里存储数据使用的是四维坐标系统，依次是：行健，列族，列限定符和时间版本。 hbase按照时间戳降序排列各时间版本，其他映射建按照升序排序。

   hbase把数据存放在一个提供单一命名空间的分布式文件系统上。一张表由多个小一点的region组成，托管region的服务器叫做regionserver.单个region大小由配置参数hbase.hregion.max.filesize决定，当一个region大小变得大于该值时，会切分成2个region.

   hbase是一种搭建在hadoop上的数据库。依靠hadoop来实现数据访问和数据可靠性。hbase是一种以低延迟为目标的在线系统，而hadoop是一种为吞吐量优化的离线系统。互补可以搭建水平扩展的数据应用。

HBASE中的表示按column family来存储的

原文链接：https://my.oschina.net/u/189445/blog/595232

HBASE 常用shell命令，增删改查

进入hbase shell console
$HBASE_HOME/bin/hbase shell
如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户

hbase(main)> whoami

1: 首先给出本次操作的数据

create 'student','info','address'
put 'student','1','info:age','20'
put 'student','1','info:name','wang'
put 'student','1','info:class','1'
put 'student','1','address:city','zhengzhou'
put 'student','1','address:area','High-tech zone'
put 'student','2','info:age','21'
put 'student','2','info:name','yang'
put 'student','2','info:class','1'
put 'student','2','address:city','beijing'
put 'student','2','address:area','CBD'
put 'student','3','info:age','22'
put 'student','3','info:name','zhao'
put 'student','3','info:class','2'
put 'student','3','address:city','shanghai'
put 'student','3','address:area','pudong'
scan 'student'

2: 首先执行，创建表，增加数据操作，执行脚本 /bin/hbase shell ./student.txt,然后查看内容 scan ‘student’

hbase(main):001:0> scan 'student'
ROW                        COLUMN+CELL
 1                         column=address:area, timestamp=1491533426260, value=High-tech zone
 1                         column=address:city, timestamp=1491533426239, value=zhengzhou
 1                         column=info:age, timestamp=1491533426179, value=20
 1                         column=info:class, timestamp=1491533426218, value=1
 1                         column=info:name, timestamp=1491533426211, value=wang
 2                         column=address:area, timestamp=1491533426297, value=CBD
 2                         column=address:city, timestamp=1491533426292, value=beijing
 2                         column=info:age, timestamp=1491533426269, value=21
 2                         column=info:class, timestamp=1491533426287, value=1
 2                         column=info:name, timestamp=1491533426277, value=yang
 3                         column=address:area, timestamp=1491533426329, value=pudong
 3                         column=address:city, timestamp=1491533426323, value=shanghai
 3                         column=info:age, timestamp=1491533426305, value=22
 3                         column=info:class, timestamp=1491533426317, value=2
 3                         column=info:name, timestamp=1491533426311, value=zhao
3 row(s) in 0.1940 seconds

3: 修改操作 也是用put命令，就是重新添加内容把，把以前的内容覆盖。

格式 put 't1', 'r1', 'c1', 'value'

命令 put 'student','1','info:age','18'

结果
hbase(main):010:0> get 'student','1'
COLUMN                     CELL
 address:area              timestamp=1491533426260, value=High-tech zone
 address:city              timestamp=1491533426239, value=zhengzhou
 info:age                  timestamp=1491533823331, value=18
 info:class                timestamp=1491533426218, value=1
 info:name                 timestamp=1491533426211, value=wang
5 row(s) in 0.0110 seconds

4: 删除操作，分为删除单元格的内容，和整行删除 

单元格

hbase(main):012:0> delete 'student','1','info:name'
0 row(s) in 0.0800 seconds

hbase(main):014:0> get 'student','1'
COLUMN                     CELL
 address:area              timestamp=1491533426260, value=High-tech zone
 address:city              timestamp=1491533426239, value=zhengzhou
 info:age                  timestamp=1491533823331, value=18
 info:class                timestamp=1491533426218, value=1
4 row(s) in 0.0120 seconds

整行

hbase(main):023:0> deleteall 'student','1'
0 row(s) in 0.0260 seconds

hbase(main):024:0> get 'student','1'
COLUMN                     CELL
0 row(s) in 0.0070 seconds

5: 查询

单行查询

hbase(main):026:0> get 'student','2'
COLUMN                     CELL
 address:area              timestamp=1491533426297, value=CBD
 address:city              timestamp=1491533426292, value=beijing
 info:age                  timestamp=1491533426269, value=21
 info:class                timestamp=1491533426287, value=1
 info:name                 timestamp=1491533426277, value=yang
5 row(s) in 0.0190 seconds

指定列族

hbase(main):028:0> get 'student', '2', {COLUMN => 'info'}
COLUMN                     CELL
 info:age                  timestamp=1491533426269, value=21
 info:class                timestamp=1491533426287, value=1
 info:name                 timestamp=1491533426277, value=yang
3 row(s) in 0.0150 seconds

指定列名

hbase(main):029:0> get 'student', '2', {COLUMN => 'info:age'}
COLUMN                     CELL
 info:age                  timestamp=1491533426269, value=21
1 row(s) in 0.0080 seconds

使用scan，指定startrow

hbase(main):031:0>  scan 'student', {COLUMNS => ['info:age', 'address'], LIMIT => 10, STARTROW => '2'}
ROW                        COLUMN+CELL
 2                         column=address:area, timestamp=1491533426297, value=CBD
 2                         column=address:city, timestamp=1491533426292, value=beijing
 2                         column=info:age, timestamp=1491533426269, value=21
 3                         column=address:area, timestamp=1491533426329, value=pudong
 3                         column=address:city, timestamp=1491533426323, value=shanghai
 3                         column=info:age, timestamp=1491533426305, value=22
2 row(s) in 0.0190 seconds

scan指定过滤

hbase(main):005:0> scan 'student',{FILTER=>"(TimestampsFilter (1491533426297))"}
ROW                        COLUMN+CELL
 2                         column=address:area, timestamp=1491533426297, value=CBD
1 row(s) in 0.0170 seconds

原文链接：https://blog.csdn.net/qq_22222499/article/details/69808525

HBASE shell命令进阶， scan+filter

创建表

create 'test1', 'lf', 'sf'  

导入数据

put 'test1', 'user1|ts1', 'sf:c1', 'sku1'  
put 'test1', 'user1|ts2', 'sf:c1', 'sku188'  
put 'test1', 'user1|ts3', 'sf:s1', 'sku123'  
  
put 'test1', 'user2|ts4', 'sf:c1', 'sku2'  
put 'test1', 'user2|ts5', 'sf:c2', 'sku288'  
put 'test1', 'user2|ts6', 'sf:s1', 'sku222'  

一个用户（userX），在什么时间（tsX），作为rowkey
对什么产品（value：skuXXX），做了什么操作作为列名，比如，c1: click from homepage; c2: click from ad; s1: search from homepage; b1: buy

查询案例

1、谁的值=sku188

scan 'test1', FILTER=>"ValueFilter(=,'binary:sku188')"  
  
ROW                          COLUMN+CELL                                                                         
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188  

2、谁的值包含88

scan 'test1', FILTER=>"ValueFilter(=,'substring:88')"  
  
ROW                          COLUMN+CELL                                                                         
user1|ts2                    column=sf:c1, timestamp=1409122354918, value=sku188
user2|ts5                    column=sf:c2, timestamp=1409122355030, value=sku288

3、通过广告点击进来的(column为c2)值包含88的用户

scan 'test1', FILTER=>"ColumnPrefixFilter('c2') AND ValueFilter(=,'substring:88')"  
  
ROW                          COLUMN+CELL                                                                         
user2|ts5                    column=sf:c2, timestamp=1409122355030, value=sku288  

4、通过搜索进来的(column为s)值包含123或者222的用户

scan 'test1', FILTER=>"ColumnPrefixFilter('s') AND ( ValueFilter(=,'substring:123') OR ValueFilter(=,'substring:222') )"  
  
ROW                          COLUMN+CELL                                                                         
user1|ts3                    column=sf:s1, timestamp=1409122354954, value=sku123
user2|ts6                    column=sf:s1, timestamp=1409122355970, value=sku222

5、rowkey为user1开头的

can 'test1', FILTER => "PrefixFilter ('user1')"  
  
ROW                          COLUMN+CELL                                                                         
user1|ts1                    column=sf:c1, timestamp=1409122354868, value=sku1   
user1|ts2                    column=sf:c1, timestamp=1409122354918, value=sku188 
user1|ts3                    column=sf:s1, timestamp=1409122354954, value=sku123 

6、FirstKeyOnlyFilter: 一个rowkey可以有多个version,同一个rowkey的同一个column也会有多个的值, 只拿出key中的第一个column的第一个version
KeyOnlyFilter: 只要key,不要value

scan 'test1', FILTER=>"FirstKeyOnlyFilter() AND ValueFilter(=,'binary:sku188') AND KeyOnlyFilter()"  
  
ROW                          COLUMN+CELL                                                                         
user1|ts2                    column=sf:c1, timestamp=1409122354918, value= 

7、从user1|ts2开始,找到所有的rowkey以user1开头的

scan 'test1', {STARTROW=>'user1|ts2', FILTER => "PrefixFilter ('user1')"}  
  
ROW                          COLUMN+CELL                                                                         
user1|ts2                    column=sf:c1, timestamp=1409122354918, value=sku188 
user1|ts3                    column=sf:s1, timestamp=1409122354954, value=sku123  

8、从user1|ts2开始,找到所有的到rowkey以user2开头

scan 'test1', {STARTROW=>'user1|ts2', STOPROW=>'user2'}  
  
ROW                          COLUMN+CELL                                                                         
user1|ts2                    column=sf:c1, timestamp=1409122354918, value=sku188
user1|ts3                    column=sf:s1, timestamp=1409122354954, value=sku123  

9、查询rowkey里面包含ts3的

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.filter.RowFilter
scan 'test1', {FILTER => RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), SubstringComparator.new('ts3'))} 
  
ROW                          COLUMN+CELL                                                                         
user1|ts3                    column=sf:s1, timestamp=1409122354954, value=sku123   

10、查询rowkey里面包含ts的

import org.apache.hadoop.hbase.filter.CompareFilter  
import org.apache.hadoop.hbase.filter.SubstringComparator  
import org.apache.hadoop.hbase.filter.RowFilter  
scan 'test1', {FILTER => RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), SubstringComparator.new('ts'))}  
  
ROW                          COLUMN+CELL                                                                         
user1|ts1                    column=sf:c1, timestamp=1409122354868, value=sku1   
user1|ts2                    column=sf:c1, timestamp=1409122354918, value=sku188 
user1|ts3                    column=sf:s1, timestamp=1409122354954, value=sku123  
user2|ts4                    column=sf:c1, timestamp=1409122354998, value=sku2                                   
user2|ts5                    column=sf:c2, timestamp=1409122355030, value=sku288
user2|ts6                    column=sf:s1, timestamp=1409122355970, value=sku222    

加入一条测试数据

put 'test1', 'user2|err', 'sf:s1', 'sku999'  

11、查询rowkey里面以user开头的，新加入的测试数据并不符合正则表达式的规则，故查询不出来

import org.apache.hadoop.hbase.filter.RegexStringComparator  
import org.apache.hadoop.hbase.filter.CompareFilter  
import org.apache.hadoop.hbase.filter.SubstringComparator  
import org.apache.hadoop.hbase.filter.RowFilter  
scan 'test1', {FILTER => RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'),RegexStringComparator.new('^user\d+\|ts\d+$'))}  
  
ROW                          COLUMN+CELL                                                                         
user1|ts1                   column=sf:c1, timestamp=1409122354868, value=sku1     
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188   
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku
user2|ts4                   column=sf:c1, timestamp=1409122354998, value=sku2  
user2|ts5                   column=sf:c2, timestamp=1409122355030, value=sku288
user2|ts6                   column=sf:s1, timestamp=1409122355970, value=sku222    

加入测试数据

put 'test1', 'user1|ts9', 'sf:b1', 'sku1'  

12、b1开头的列中并且值为sku1的：

scan 'test1', FILTER=>"ColumnPrefixFilter('b1') AND ValueFilter(=,'binary:sku1')"
 
ROW                          COLUMN+CELL                                
user1|ts9                    column=sf:b1, timestamp=1409124908668, value=sku1

 

13、SingleColumnValueFilter的使用，b1开头的列中并且值为sku1的

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
scan 'test1', {COLUMNS => 'sf:b1', FILTER => SingleColumnValueFilter.new(Bytes.toBytes('sf'), Bytes.toBytes('b1'), CompareFilter::CompareOp.valueOf('EQUAL'), Bytes.toBytes('sku1'))}
 
ROW                          COLUMN+CELL                                                                       
user1|ts9                    column=sf:b1, timestamp=1409124908668, value=sku1

HBase java API 使用实例

详细参见：

https://blog.csdn.net/wild46cat/article/details/53321409

重点后续可以补充（本人观点）

1、测试查询某个qualifier为特定值的列。例如：博客作者中年龄是30的内容。

代码见原文

首先看一下所有数据：

查询博客作者年龄是30岁的数据（有脏数据，为了测试后面的功能）：

注意：所有的数据必须都有author:age这个quailifer，不然，默认情况下如果没有这个列，那么依然会被查出来。

最后再次感谢多位大佬的分享。