SSM+mybatis数据库实现百万数据分页取出并分页插入Excel中

本文介绍了如何解决由于一次性查询大量数据导致的内存溢出问题。通过采用分页查询的方式,从数据库中每次取出一部分数据,并使用特定库(如POI)分批插入到Excel文件中,从而避免内存问题。示例代码中提到了对POI库版本的要求。
摘要由CSDN通过智能技术生成

刚开始的情况是一条sql语句将数据库中的所有数据一次全部查询出来,每一条放到一个map中,最后放在list中,刚开始写的代码由于数据不多,没出现问题,后来数据达到百万后,客服在导出数据的时候直接内存溢出,于是开始查找原因,最后找到,在查询数据把数据放到map的过程中,会占用内存,百万的数据想想也是醉了,于是重新sql语句,自定义分页,查一次数据将数据插入一次Excel中,分页查询数据很好实现,在分页插入Excel这竟然被卡了足足一天,蛋疼。。。。

Excel插入数据选用的xlsx,支持插入100万多点数据,xls就不行了。上一个测试类代码:

package com.hyfd.test;
/**
 * 功能:测试Excel中数据的插入
 * @author yinguichun
 */
import java.io.File;
import java.io.FileInputStream;    
import java.io.FileOutputStream;    
import java.io.OutputStream;
import java.util.HashMap;
import java.util.Map;
import org.apache.poi.hssf.usermodel.HSSFRow;    
import org.apache.poi.hssf.usermodel.HSSFSheet;    
import org.apache.poi.hssf.usermodel.HSSFWorkbook;    
import org.apache.poi.poifs.filesystem.POIFSFileSystem;  
import org.apache.poi.xssf.streaming.SXSSFRow;
import org.
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

博主逸尘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值