项目中大批量数据查询导致OOM

项目中有时候一次性将大批量数据都查出来到内存中导致内存占用过多很可能会导致内存溢出

问题复现

搭建一个本地项目。需求描述:查询表call_task中待拨打的数据进行拨打,call_task中一次可能会有大批量数据需要处理。本次准备了1万条数据。

/**
 * 查询数据执行拨打
 **/
@Override
public void waitingCall() {
    List<CallTask> waitingTaskList = list(Wrappers.<CallTask>lambdaQuery()
            .eq(CallTask::getCallStatus, "WAITING")
            .le(CallTask::getReqTime, new Date())
    );
    if (CollUtil.isEmpty(waitingTaskList)) {
        return;
    }

    call(waitingTaskList);
}

/**
 * 模拟执行具体拨打数据
 **/
private void call(List<CallTask> waitingTaskList) {
    try {
        TimeUnit.SECONDS.sleep(5);
    } catch (InterruptedException e) {
        throw new RuntimeException(e);
    }
}

启动项目时将JVM堆内存的大小调整到合适数值(可以造成内存溢出的情况)。本次最大设置的20m,最小设置的10m

-Xmx20m -Xms10m

idea设置方式
选择 run/debug configurations 设置 VM options
在这里插入图片描述
想要更好的知道大概设置多少合适可以安装插件jProfier插件来进行分析,调用方法通过工具查看调用方法时内存是多少,根据该数据来进行设置
在这里插入图片描述
性能工具安装

  1. 在idea中下载jProfiler工具
  2. 下载jProfiler客户端工具 下载地址

启动程序执行方法,程序出现错误 java.lang.OutOfMemoryError: Java heap space
在这里插入图片描述

解决办法

问题复现之后,开始解决。
针对此问题查到的几种解决方式

使用分页查询,避免一次性查询所有的数据,分批次处理

public void methodOne() {
    long page = 1;
    long limit = 500;
    long total;
    do {
        Page<CallTask> taskPage = new Page<>(page, limit);
        Page<CallTask> pagResult = page(taskPage,
                Wrappers.<CallTask>lambdaQuery()
                        .eq(CallTask::getCallStatus, "WAITING")
                        .le(CallTask::getReqTime, new Date()));
        total = pagResult.getTotal();

        List<CallTask> records = pagResult.getRecords();
        if (CollUtil.isEmpty(records)) {
            break;
        }
        call(records);
        page++;

    } while (page * limit < total);
}

使用流式查询

public void methodTwo() {
    Date reqDate = new Date();
    LambdaQueryWrapper<CallTask> wrapper = Wrappers.<CallTask>lambdaQuery()
            .eq(CallTask::getCallStatus, "WAITING")
            .le(CallTask::getReqTime, reqDate);
    int batchSize = 1000;
    int offset = 0;
    while (true) {
        List<CallTask> taskList = list(wrapper.last("limit " + offset + "," + batchSize));
        if (CollUtil.isEmpty(taskList)) {
            break;
        }
        offset += batchSize;
        call(taskList);
    }
}

还有在查询的过程中减少查询字段,避免 select *

流式查询和分页查询使用场景
分页查询通常用于展示数据,如在网页上显示数据列表,需要分页展示。而流式查询通常用于数据处理,如在数据清洗、数据分析等场景中。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值