电商项目亿级数据量之深度分页解决方案

在这里插入图片描述

1 问题背景

在电商中,仅商品数据就能达到百万级别甚至亿级。有些场景需要查询若干商品,在亿级数据量的情况下,产生了深度分页的问题。

参考自:实战!聊聊如何解决MySQL深分页问题

2 前言

下面给出的解决方案,笔者确实在企业级项目中看到有运用。

3 解决方案

核心就是让sql走主键索引

3.1 将二级索引转移成主键索引

如果sql语句仅仅是用了二级索引,那么可以优先通过二级索引查询到主键ID,然后再通过主键ID查询具体的列值

3.2 游标记录

走主键索引的sql加上id升序排序,下一次查询则使用where id > 上次查询的id最大值 and id in (1001, 1002, ...),上次查询的id最大值的初始值可以用0。

3.3 between … and …

设置每次查询的数量,比如30,每次查询都用id最大值加上设置的查询数量,如

伪代码如下:

// 每次查询的数量
int num = 30;
// 总查询的量(id的最大值)
int maxNum = 3000;
// 范围
int minId = 0;
int maxId = 0;

for (;maxId < maxNum;) {
  minId = maxId + 1;
  maxId = maxId + num;
  // 构造如下 sql
  String sql = "select * from t_product where id between minId and maxId;"
}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值