HBase伪快速分页查询

最新推荐文章于 2024-07-19 17:23:50 发布

水田如雅

最新推荐文章于 2024-07-19 17:23:50 发布

阅读量2k

点赞数

分类专栏：大数据文章标签：分页 hbase filter

本文链接：https://blog.csdn.net/lhc1105/article/details/73656470

版权

大数据专栏收录该内容

23 篇文章 7 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

当HBase中数据量达到亿级后，传统的分页查询变得非常慢。通过避免查询总数，直接返回固定总页数并仅查询一页数据，可以显著提高响应速度。在前端仅提供上下分页功能，确保用户不太可能翻到很后面，从而实现伪分页。此外，使用rowkey进行分页也是快速查询的一种方法。

摘要由CSDN通过智能技术生成

之前有两个功能，都是查询历史数据的一个分页查询，系统刚上线的时候，没有太多的数据，就一直扔在mysql里面，后来里面数据上亿之后，就查不到了，而且数据还在以指数级增长方式上报，后来，这部分业务单独迁移到hbase集群去存放，之前页面的查询也改查hbase了。但是hbase对分页查询这种东西支持不好，如果按照以往查询mysql的思路，查询出一个总的count,再查询出这一页的数据，这种方式去查询hbase,那么如果你仔细去跟代码计算时间的话，你会发现hbase去查count,无论哪种方式，都会引起全表扫描，是非常慢的。整个页面加载出来，看了下响应事件，大概要45s,等的我都喝了两杯茶了。

so,我想了个比较伪的分页查询方法，去掉查询count操作，值查询一页数据：

public Page<BatteryData> findBatterHisData(BatteryHisDto dto)throws Exception {
        Page<BatteryData> dataPage=new Page<BatteryData>();
        List<BatteryData> dataList=ne