HBase表设计

Rowkey设计

Rowkey是不可分割的字节数，按字典排序由低到高存储在表中。

 

在设计HBase表时，Rowkey设计是最重要的事情，应该基于预期的访问模式来为Rowkey建模。Rowkey决定了访问HBase表时可以得到的性能，原因有两个：

1）Region基于Rowkey为一个区间的行提供服务，并且负责区间的每一行；

2）HFile在硬盘上存储有序的行。

 

这两个因素是相互关联的。当Region将内存中数据刷写为HFile时，这些行已经排过序，也会有序地写到硬盘上。Rowkey的有序特性和底层存储格式可以保证HBase表在设计Rowkey之后的良好性能。

 

关系型数据库可以在多列上建立索引，但是HBase只能在Rowkey上建立索引。（可以通过ES为Hbase的列建立索引） 而设计Rowkey有各种技巧，而且可以针对不同访问模式进行优化，我们接下来就研究一下。

 

1.将Rowkey以字典顺序从大到小排序

原生HBase只支持从小到大的排序，但是现在有个需求想展现影片热度排行榜，这就要求实现从大到小排列，针对这种情况可以采用Rowkey=Integer.MAX_VALUE-Rowkey的方式将Rowkey进行转换，最大的变最小，最小的变最大，在应用层再转回来即可完成排序需求。

 

2.RowKey尽量散列设计

最重要的是要保证散列，这样就会保证所有的数据都不是在一个Region上，从而避免读写的时候负载会集中在个别Region上。比如ROWKEY_Random

 

3.RowKey的长度尽量短

如果Rowkey太长，第一存储开销会增加，影响存储效率；第二内存中Rowkey字段过长，会导致内存的利用率降低，进而降低索引命中率。

Rowkey是一个二进制码流，Rowkey的长度被很多开发者建议说设计在10~100个字节，不过建议是越短越好，不要超过16个字节。

 

原因如下：

1）数据的持久化文件HFile中是按照KeyValue存储的，如果Rowkey过长比如100个字节，1000万列数据光Rowkey就要占用100*1000万=10亿个字节，将近1G数据，这会极大影响HFile的存储效率；

2）MemStore将缓存部分数据到内存，如果Rowkey字段过长内存的有效利用率会降低，系统将无法缓存更多的数据，这会降低检索效率。因此Rowkey的字节长度越短越好。

 

4.RowKey唯一

5.RowKey建议用String类型

虽然行键在HBase中是以byte[]字节数组的形式存储的，但是建议在系统开发过程中将其数据类型设置为String类型，保证通用性。

常用的行键字符串有以下几种：

1）纯数字字符串，譬如9559820140512；

2）数字+特殊分隔符，譬如95598-20140512;

3）数字+英文字母，譬如city20140512；

4）数字+英文字母+特殊分隔符，譬如city_20140512

 

6.RowKey设计得最好有意义

RowKey的主要作用是为了进行数据记录的唯一性标示，但是唯一性并不是其全部，具有明确意义的行键对于应用开发、数据检索等都具有特殊意义。

譬如数字字符串：9559820140512，其实际意义是这样：95598（电网客服电话）+20140512（日期）。

行键往往由多个值组合而成，而各个值的位置顺序将影响到数据存储和检索效率，所以在设计行键时，需要对日后的业务应用开发有比较深入的了解和前瞻性预测，才能设计出可尽量高效率检索的行键。

 

 

7.具有定长性

行键具有有序性的基础便是定长，譬如20140512080500、20140512083000，这两个日期时间形式的字符串是递增的，不管后面的秒数是多少，我们都将其设置为14位数字形式，如果我们把后面的0去除了，那么201405120805将大于20140512083，其有序性发生了变更。所以我们建议，行键一定要设计成定长的。

此外，目前操作系统是都是64位系统，内存8字节对齐。控制在16个字节，8字节的整数倍利用操作系统的最佳特性。

 

 

列族的设计

在设计hbase表时候，列族不宜过多，尽量的要少使用列族。

经常要在一起查询的数据最好放在一个列族中，尽量的减少跨列族的数据访问。        

 

 

案例一 网络数据访问

比如我们现在数据库里有两张表：

用户表

id        name        age        gender             email

001        zhang        19        男                zhang@qq.com

002        wang        20        男                wang@qq.com

 

用户访问的网页表                                

host                                viewtime      content  userid

www.baidu.com            2016-12-20        xxxx             001

www.sina.com            2016-11-10        xxxx       001

www.souhu.com    2016-11-09        xxxx             001

www.baidu.com            2016-12-20        xxxx             002

www.163.com            2016-12-20        xxxx             002

 

我们现在要将上述两表设计为Hbase表，如何设计行键？

行键怎么设计，直接决定了查询语句怎么写，如果我将行键设计为：日期_姓名这种形式：

 

2016-12-20_zhang

2016-11-10_zhang

2016-11-09_zhang

2016-12-20_wang

2016-12-20_wang

 

则在查询时，我们可以利用hbase提供的过滤器进行日期范围的查询：

Filter filter=new PrefixFilter("2016-12-20".getBytes())；

 

也可以查询以人名为过滤条件的查询。所以在hbase中，行键的设计很重要，要结合具体业务。

 

实例2 动物分类

如果一位生物科学家要存储一些动物相关信息，其中要包括动物的大类，以及一些大类动物下包括的小类，这样可以方便今后查询某种具体动物属于哪一类别，以及动物名字具体是什么。下面简单列举一些动物分类如下：

Animal

Pig

Cat

Monkey

Dog：Red dog和Black dog

Tiger：Tiger of northeast

其中，Animal是顶级分类，Pig、Cat、Monkey、Dog和Tiger属于一级分类，而Dog中的Red dog和Black dog，以及Tiger中的Tiger of northesst属于二级分类。

 

RDBMS表结构设计

动物分类在关系型数据库的设计中只需要考虑主键的映射关系即可，需要一个分类表结构。每种动物都有几个关键字段：id、name、parent_id和child_id，如表所示。

RDBMS中的动物分类表结构

 

 

HBase中表结构设计

对于动物分类的HBase表结构设计，Rowkey对应RDBMS中的id，共有三个列族：name、parent和child，详细设计如表

 

通过这个简单的例子可以看出，这两种表结构设计有本质的区别，一个是行式存储，一个是列式存储，所以刚刚接触HBase的读者需要转换思维设计表结构，这样才能够更好地掌握HBase的表模式设计。