Excel数据量太大,使用poi的XSSFWorkbook时内存栈溢出,解决方案

文章讲述了在处理大Excel时,如何从使用XSSFWorkbook遇到内存溢出问题,转向使用xlsx-streamer流式读取,避免内存消耗过大,并介绍如何通过创建实体类或JSON对象存储数据以支持随机访问。
摘要由CSDN通过智能技术生成

一、使用XSSFWorkbook 直接读取大excel时,直接报java.lang.OutOfMemoryError: Java heap space

  XSSFWorkbook xssfWorkbook=new XSSFWorkbook("xxx");

二、因此引进包xlsx-streamer来使用流读取(poi相关包需要在4.0以上)。

<dependency>
        <groupId>com.monitorjbl</groupId>
        <artifactId>xlsx-streamer</artifactId>
        <version>2.2.0</version>
</dependency>

三、代码改成如下

InputStream is = new FileInputStream(new File("xxx"));
Workbook workbook = StreamingReader.builder()
                .rowCacheSize(1000)    // 缓存到内存中的行数(默认是10)
                .bufferSize(10240)     // 读取资源时,缓存到内存的字节大小(默认是1024)
                .open(is);
Sheet sheet = workbook.getSheetAt(0);

四、此时的sheet无法随机访问某一行,调用如下getRow()方法会报错。只能通过for来遍历全部。

Row row = sheetAt.getRow(2);//报错
for (Row row: sheet) {
	//成功
}

五、所以可以先为此excel文件创建一个实体类或者直接使用JSONObject,先把excel里的数据读取到List内存中,再对整个List进行操作就能实现随机访问。

   List<Data> dataList = new ArrayList<>();
   for (Row cells : sheetAt) {
            String itemId = cells.getCell(0).getStringCellValue();
            String desc = cells.getCell(1).getStringCellValue();
            String h9Model = cells.getCell(5).getStringCellValue();
            String h9Brand = cells.getCell(6).getStringCellValue();
            dataList.add(new Data(itemId, desc, h9Model, h9Brand));
  }
  //接下来对dataList进行相关操作
  
Java中进行大批量导出Excel,可能会遇到内存溢出的问题。这是因为Excel文件通常占用较大的内存空间,当数据量较大,可能会超过JVM所分配的内存限制。 为了解决这个问题,可以采取以下几种方法: 1. 分批次导出:将要导出的数据分成多个批次进行导出,每次导出一部分数据,以减少内存占用。可以根据数据的大小和服务器的内存情况来确定每个批次的大小。 2. 使用XSSFWorkbook替代HSSFWorkbook:HSSFWorkbook是用于处理Excel 97-2003格式的库,而XSSFWorkbook则是处理Excel 2007及更高版本的库。后者的内存占用要比前者低,因此可以考虑将工作簿对象由HSSFWorkbook替换为XSSFWorkbook。 3. 使用SXSSFWorkbook:SXSSFWorkbook是Apache POI提供的一种特殊的工作簿对象,它可以将数据直接写入磁盘而不是内存,从而大大降低内存占用。使用SXSSFWorkbook需要注意的是,导出的Excel文件不能被随机访问,只能顺序读取。 4. 增加JVM内存限制:可以通过增加JVM的堆内存限制来解决内存溢出问题。可以通过修改JVM启动参数中的-Xmx和-Xms来增加堆内存限制。但是这种方法需要根据服务器的硬件资源和其他应用的内存需求进行合理的配置和调优。 5. 使用CSV格式代替Excel:如果Excel格式并不是必须要求,可以考虑将数据导出为CSV格式。CSV格式的文件较小,占用较少的内存,并且可以直接用文本编辑器打开和编辑。 以上是解决Java大批量导出Excel内存溢出问题的几种方法,可以根据具体情况选择适合的方法进行解决。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值