EXCEL xlsx 大批量数据读取问题（附代码）

最新推荐文章于 2024-05-10 23:46:17 发布

离水的鱼xyt

最新推荐文章于 2024-05-10 23:46:17 发布

阅读量1.2k

点赞数

文章标签： java poi eclipse tomcat

本文链接：https://blog.csdn.net/qq_33883346/article/details/122235724

版权

这篇博客介绍了在处理大量Excel数据时，由于XLSX文件的大小限制，传统方法可能会导致Java堆内存溢出。文章提供了一个使用Apache POI的XSSF和SAX事件API来读取大数据量XLSX文件的解决方案，以避免内存问题。通过创建一个抽象类`BigDataParseExcel`，实现了SAX解析器的DefaultHandler，从而能有效地分批处理Excel数据。

摘要由CSDN通过智能技术生成

xls sheet页数据量上限是6w多条，xlsxsheet页数据量上限制100w多条
以下代码已实测，数据量测试80w。

问题：xlsx 批量读取会容易出现堆内存溢出问题
解决方案：
package org.jeecgframework.web.system.sms.util;

import java.io.InputStream;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

import org.apache.poi.openxml4j.opc.OPCPackage;
import org.apache.poi.xssf.eventusermodel.XSSFReader;
import org.apache.poi.xssf.model.SharedStringsTable;
import org.apache.poi.xssf.usermodel.XSSFRichTextString;
import org.xml.sax.Attributes;
import org.xml.sax.InputSource;
import org.xml.sax.SAXException;
import org.xml.sax.XMLReader;
import org.xml.sax.helpers.DefaultHandler;
import org.xml.sax.helpers.XMLReaderFactory;

/**
*

XSSF and SAX (Event API) 能避免内存溢出问题的大数据Excel文件数据处理
*/
public abstract class BigDataParseExcel extends DefaultHandler {

private SharedStringsTable sst;
private String lastContents;
private boolean nextIsString;
private int sheetIndex = -1;
private String sheetName = “”;
private List rowlist = new ArrayList();
private List row = new ArrayList();
private List<List> rowlistMap = new ArrayList<List>();
private int curRow = 0; // 当前行
private int curCol = 0; // 当前列索引
private int preCol = 0; // 上一列列索引
private int titleRow = 0; // 标题行，一般情况下为0
private int rowsize = 0; // 列数

//excel记录行操作方法，以sheet索引，行索引和行元素列表为参数，对sheet的一行元素进行操作，元素为String类型
public abstract void optRows(int sheetIndex, int curRow, List rowlist) throws SQLException;
//只遍历一个sheet，其中sheetId为要遍历的sheet索引，从1开始，1-3