1 问题背景
在电商中,仅商品数据就能达到百万级别甚至亿级。有些场景需要查询若干商品,在亿级数据量的情况下,产生了深度分页的问题。
2 前言
下面给出的解决方案,笔者确实在企业级项目中看到有运用。
3 解决方案
核心就是让sql走主键索引
3.1 将二级索引转移成主键索引
如果sql语句仅仅是用了二级索引,那么可以优先通过二级索引查询到主键ID,然后再通过主键ID查询具体的列值
3.2 游标记录
走主键索引的sql加上id升序排序,下一次查询则使用where id > 上次查询的id最大值 and id in (1001, 1002, ...)
,上次查询的id最大值的初始值可以用0。
3.3 between … and …
设置每次查询的数量,比如30,每次查询都用id最大值加上设置的查询数量,如
伪代码如下:
// 每次查询的数量
int num = 30;
// 总查询的量(id的最大值)
int maxNum = 3000;
// 范围
int minId = 0;
int maxId = 0;
for (;maxId < maxNum;) {
minId = maxId + 1;
maxId = maxId + num;
// 构造如下 sql
String sql = "select * from t_product where id between minId and maxId;"
}