谈笑间学会-Hbase Rowkey设计
1、为什么Rowkey这么重要
1.1、Rowkey是什么
类似于MySQL、Oracle中的主键,用于标示唯一的行
完全是由用户指定的一串不重复的字符串;
Hbase中的数据永远数据根据Rowkey的字典排序来排序的。
1.2、Rowkey的作用
读写数据通过Rowkey找到对应的Region;
MemStore中的数据按RowKry字典顺序排序;
HFile中的数据按Rowkey字典顺序排序
1.3、Rowkey对查询的影响
举个栗子—Rowkey :uid+phone+name
很好支持的数据的检索
uid = 001 AND phone=12345678901 AND name = zhang
uid = 001 AND phone=123?
uid = 001
不太好支持的数据的检索
phone=12345678901 AND name = zhang
phone=12345678901
name = zhang
1.4、Rowkey对Region划分的影响
Hbase表的数据是按照Rowkey来分散到不同的Region,不合理的Rowkey设计会导致热点问题的产生。
热点问题是大量的Client直接访问集群的一个或极少数节点,而集群中其他节点处于相对空闲状态。
2、Rowkey设计技巧
2.1、Rowkey的设计-Salting
Salting的原理是将固定长度的随机数放在行键起始处
优缺点
由于前缀随机生成,因而如果想要按照字典顺序找到这些行,则需要做更多的工作。从这个角度上看,salting增加了写操作的吞吐量,却也增大了读操作的开销。
2.2、Rowkey的设计 - Hashing
Hashing 的原理是计算Rowkey的hash值,然后取hash的部分字符串和原来的Rowkey进行拼接
优缺点
比如使用md5算法来计算Rowkey的md5值,然后截取前几位字符串,如下:
substring(MD5(设备ID),0,x)+ 设备ID,其中x一般取5或6
可以一定程度打散整个数据集,但是不利于scan操作;
2.3、Rowkey的设计 - Reversing
Reversing的原理是反转一段固定长度或者全部的键
优缺点
有效打乱了行键,却牺牲了行排序的属性
2.4、Rowkey的长度
Rowkey可以是任意的字符串,最大长度是64KB。建议越短越好,原因如下
数据的持久化文件HFile是按照KeyValue存储的,如果rowkey过长,比如超过100字节,1000w行数据,rowkey就要占用100*1000w = 10亿个字节,将近1G数据,这样会极大影响HFile的存储效率;
MemStore将缓存部分数据到内存,如果rowkey字段过长,内存的有效利用率就会降低,系统不能缓存更多的数据,这样会降低检索效率;
目前操作系统都是64位系统,系统8字节对齐,控制在16个字节,8字节的整数倍利用了操作系统的最佳特性。
3、Rowkey设计案例剖析
3.1、交易类表Rowkey设计-1
查询某个卖家某段时间内的交易记录
sellerId + timestamp + orderId
查询某个买家某段时间内的交易记录
buyId + timestamp + orderId
根据订单号查询
orderNo
3.2、交易类表Rowkey设计-1
如果某个商家卖了很多商品,怎么设计Rowkey实现快速搜索?
salt + sellerId + timestamp 其中,slat是随机数。
可与支持的场景:
全表Scan
按照sellerId查询
按照sellerId + timestamp 查询
3.3、金融风控Rowkey设计
查询某个用户的用户画像数据
prefix + uid
prefix + idcard
prefix +tele
其中prefix = substr(md5(uid),0,x)
3.4、车联网Rowkey设计
查询某辆车在某个时间范围的交易记录
carId + timestamp
某批次的车太多,造成热点
prefix + carId + timestamp
其中prefix = substr(md5(uid),0,x)
3.5、倒序时间戳
查询用户最新的操作记录或者查询用户某段时间的操作记录
uid + Long.Max_Value - timestamp
查询用户最新的操作记录
Scan 【uid】 startRow 【uid】【000000000000】stopRow 【uid】【Long.Max_Value - timestamp】
查询用户某段时间的操作记录
Scan 【uid】 startRow 【uid】【Long.Max_Value - startTime】stopRow 【uid】【Long.Max_Value - endTime】
3.6、OpenTSDB的Rowkey设计-1
OpenTSDB定义每个时间序列数据需要包含以下属性
指标名称
时间戳(毫秒或者秒精度)
值
一组标签
3.6、OpenTSDB的Rowkey设计-2
OpenTSDB提供查询功能
指定指标名称和时间范围,给定一个或多个标签名称和标签的值作为条件,查询所有的数据。
a. proc.loadavg.1m (host=, pool=)(1436331600 <= timestamp < 1436335200):
查询13点到14点之间,所有机器所有pool上的虚拟文件系统负载;
b. proc.loadavg.1m (host=host1, pool=*)(1436331600 <= timestamp < 1436335200):
查询13点到14点之间,host1机器所有pool上的虚拟文件系统负载;
c. proc.loadavg.1m (host=host1, pool=0)(1436331600 <= timestamp < 1436335200):
查询13点到14点之间, host1机器pool=0的虚拟文件系统负载。
3.6、OpenTSDB的Rowkey设计-3
OpenTSDB的Rowkey:slat + metric_uid + timetamp + tagk1 + tagv1 + [tankN + tagvN]
3.7、Hbase二级索引
为什么需要二级索引?
需求:如何查询phone = 1311111111 的用户呢?
创建二级索引呗?何为二级索引呢?其实就是根据自己的数据过滤条件,创建中间表,索引值为主表Rowkey即可。
SQL + OLTP + 二级索引 => Phoenix
全文检索 + 二级索引 => Solr / Es