easyExcel大数据量导出oom

palm down

已于 2024-03-22 15:47:36 修改

阅读量795

点赞数 1

文章标签： java gc jvm

于 2024-03-22 15:13:39 首次发布

本文链接：https://blog.csdn.net/liouwb/article/details/136941681

版权

文章讨论了easyExcel在处理大数据量时遇到的内存溢出问题，通过分批写入文件并手动回收数据对象，成功避免了OutOfMemoryError。作者还提到当数据行超过104万时，需考虑使用分sheet页导出以解决POI的限制。

摘要由CSDN通过智能技术生成

easyExcel大数据量导出

异常信息

com.alibaba.excel.exception.ExcelGenerateException: java.lang.OutOfMemoryError: GC overhead limit exceeded
	at com.alibaba.excel.write.ExcelBuilderImpl.fill(ExcelBuilderImpl.java:84)
	at com.alibaba.excel.ExcelWriter.fill(ExcelWriter.java:185)

原因，easyExcel在进行填充数据的时候比较耗内存容易造成oom
解决方案，把数据分批写入文件,部分代码

        ExcelWriter excelWriter = null;
        ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
        try {
            // 创建填充配置
            FillConfig fillConfig = FillConfig.builder().forceNewRow(true).build();
            excelWriter = EasyExcel.write(outputStream)
                    .withTemplate(templateIn).build();
            // 创建Sheet对象
            WriteSheet sheet = EasyExcel.writerSheet(0).build();
            // 分批导出
            int totalSize = dataList.size();
            // 每次导入条数
            int limit = 20000;
            // 共分的次数
            int totalPages = totalSize / limit;
            if (totalPages % limit > 0) {
                totalPages++;
            }
            for (int i = 0; i < totalPages; i++) {
                if (i == totalPages - 1) {
                    excelWriter.fill(dataList.subList(i * limit, dataList.size()), fillConfig, sheet);
                } else {
                    excelWriter.fill(dataList.subList(i * limit, limit * (i + 1)), fillConfig, sheet);
                }
            }
        } finally {
            if (null != excelWriter) {
                // 关闭流
                excelWriter.finish();
            }
            try {
                outputStream.close();
            } catch (IOException e) {
                log.error("关闭文件流失败");
            }
            try {
                templateIn.close();
            } catch (IOException e) {
                log.error("关闭文件流失败");
            }
        }

验证：分批次写入文件，可以正常导出文件，并未出现oom
在导出excel数据之后，fullGc的时候并未第一时间回收数据集合，可以在finally手动回收数据对象

finally {
            if (!CollectionUtils.isEmpty(dataList)) {
                dataList.clear();
            }
            if (null != excelWriter) {
                // 关闭流
                excelWriter.finish();
            }
            try {
                outputStream.close();
            } catch (IOException e) {
                log.error("关闭文件流失败");
            }
            try {
                templateIn.close();
            } catch (IOException e) {
                log.error("关闭文件流失败");
            }
        }