几十万的数据量,无法一个查询搞定怎么办,可以尝试分段查询.

最新推荐文章于 2024-07-28 03:22:56 发布

Rua~!

最新推荐文章于 2024-07-28 03:22:56 发布

阅读量1.1k

点赞数 2

分类专栏： JavaEE

本文链接：https://blog.csdn.net/weixin_42401258/article/details/104053476

版权

JavaEE 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

之前在项目中处理过数据量比较大的场景.如果数据库中有几十万条数据,一条sql查询时间太久,可能还会导致整个程序down掉.后来的优化方案就是分段读取,一次读取个几千条,然后把查询结果都放在一起. 主要的思想就是类似分页查询的逻辑.

int size = 10000;
//curDayOrdCount 是通过查询出来的一个数据量总数,来计算总共要分多少页
int totalPage = curDayOrdCount % size == 0 ? curDayOrdCount / size : (curDayOrdCount / size) + 1;
List<OrdLogSyn> ordLogSyns = null;
long readStart = System.currentTimeMillis();
log.info(LogHelper.info(baseProcess,"支付交易成功的笔数为【"+curDayOrdCount+"】笔,开始读取数据库.............."));
for (int i = 0; i < totalPage; i++) {
    int start2 = i * size + 1;
    int preEnd2 = size * (i + 1);
    int end2 = preEnd2 > curDayOrdCount ? curDayOrdCount : preEnd2;
    List<OrdLogSyn> ordLogSynList = ordLogSynMapper.batchQuery("AP", yesterday, start2, end2);
    log.info(LogHelper.info(baseProcess,"第【" + start2 + "】条 ======= 第【" + end2 + "】条数据读取完毕........."));
    if (ordLogSyns == null && ordLogSynList != null){
        ordLogSyns = ordLogSynList;
    }else if (ordLogSynList != null){
        ordLogSyns.addAll(ordLogSynList);
    }
}
long readEnd = System.currentTimeMillis();
log.info(LogHelper.info(baseProcess,"读取"+curDayOrdCount+"条数据耗时"+(readEnd-readStart)/1000+"秒"));