hbase实现分页查询

最新推荐文章于 2021-11-24 10:58:27 发布

大数据部

最新推荐文章于 2021-11-24 10:58:27 发布

阅读量4.1k

点赞数 2

分类专栏：批量:Hive/Spark/Hbas 文章标签： hbase 分页查询 shell

本文链接：https://blog.csdn.net/bdchome/article/details/47808199

版权

本文介绍了如何在HBase中实现分页查询，特别是按时间查询最新的15条记录。关键在于巧妙设计rowkey，采用时间戳的倒序，并利用MurmurHash确保散列效果。插入数据和查询操作中，通过rowkey的特定构造，实现了高效的查询性能。

摘要由CSDN通过智能技术生成

[Author]: kwu

hbase实现分页查询，实现按时间查询最新的15条，hbase的查询主要是通过rowkey来进行的，保证查询的高效。column的filter查询效率较低。

1、rowkey的设计

以时间的倒序进行查询，如20150818_152130来看，设计rowkey

20150818的hash64值+(999999-152130)。

1）MurmurHash的64的冲突非常小，并实现rowkey的散列。

2）日分秒与999999的差值，可以实现逆序

2、插入数据的操作

String[] splited = jsData.split("`");

SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMddHHmmss");
Date date = new Date();
String format = sdf.format(date);

String dateday = format.substring(0, 8);
String datehour = format.substring(8, 10);
String dateMin = format.substring(10, 12);
String dateSec = format.substring(12, 14);

int datehourSub = 99 - new Integer(datehour);
int dateMinSub = 99 - new Integer(dateMin);
int dateSecSub = 99 - new Integer(dateSe