mybatis使用流式查询避免一次性查询数据量过大导致OOM(内存溢出)

问题

开发中难免会遇到大批量数据的导出,比如几十万(几百万)条数据,而服务器的内存过小则会导致内存溢出

解决方案

使用mybatis的流式查询,步骤如下:
dao层接口:

@Mapper
public interface CustomerDao {
 		List<BpmsCustomerManageFormalEntity> selectAll();
        List<BpmsCustomerManageFormalEntity> selectFetchSize2();
}

xml文件:

<!--普通查询-->
<select id="selectAll" resultType="com.ratel.streaming.entity.BpmsCustomerManageFormalEntity">
        SELECT * FROM bpms_customer_manage_formal
    </select>
    
    <!--流式查询-->
#这个是关键 其中fetchSize="-2147483648",Integer.MIN_VALUE=-2147483648
<select id="selectFetchSize2"  resultType="bpmsCustomerManageFormalEntity" fetchSize="-2147483648">
        SELECT * FROM bpms_customer_manage_formal
    </select>

本次数据库准备的数据量是40万条左右

结果

使用java自带的java内存监控工具jvisualvm.exe查看内存使用:
由图可知:普通查询的峰值使用内存为1500M ,而流式查询大约为1000M左右,大大节省了内存!
在这里插入图片描述

参考链接:

Mysql中使用流式查询避免数据量过大导致OOM
MySQL中流式查询使用
MyBatis中使用流式查询避免数据量过大导致OOM
Mybatis 3.4.0 Cursor的使用
正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space
MyBatis中使用流式查询避免数据量过大导致OOM
关于oracle与mysql官方jdbc的一些区别

  • 1
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

T-OPEN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值