easyexcel 导入excel内存溢出

最新推荐文章于 2024-03-10 00:15:00 发布
VIP文章 最新推荐文章于 2024-03-10 00:15:00 发布
阅读量8.9k 收藏 9
点赞数
分类专栏： java
阿里巴巴盒马大量招聘 hc多多 提供全程面试辅导 简历砸过来 [email protected] 5年内的p6 7年以上的p7 机会多多
本文链接：https://blog.csdn.net/qq_20009015/article/details/89350380
版权

之前使用的是阿里开源的easyexcel ，可以避免大部分的OOM情况，之前测试的时候也确实是，100Mexcel文件单sheet页，50多万数据 正常导入了。

但是这次有个需求，400个sheet页，10M的时候，导入出现了OOM。

报错情况：
在这里插入图片描述

然后查看测试环境jvm的参数
在这里插入图片描述

-XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:CMSMaxAbortablePrecleanTime=5000 -XX:+ExplicitGCInvokesConcurrent -XX:InitialHeapSize=2
09715200 -XX:MaxDirectMemorySize=419430400 -XX:MaxHeapSize=419430400 -XX:MaxNewSize=139812864 -XX:NewSize=139812864 -XX:OldPLABSize=16 -XX:OldSize=279617536 -XX:+PrintGC -XX:+Pri
ntGCDateStamps -XX:+PrintGCDetails -XX:+Pr

最低0.47元/天 解锁文章
qq_20009015
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
通用Excel导入设计方案的实现源码不会内存溢出
10-19
之前我上传了设计方案，参见 http://download.csdn.net/detail/whatismvc/3674315 根据这个设计方案，做了详细的实现，经项目验证，Excel文件20W条数据不成问题，因为Excel解析是我自己原创的行级处理器，不会一次性生成很多对象，因此不存在内存溢出现象，只要excel文件放得下，有多少记录都没问题。 源码中用到的Excel行级处理器源码，参见 http://download.csdn.net/detail/whatismvc/3694229
解决导出大文件时内存溢出的问题
Hua19859210361的博客
10-26 1045
本文主要列举了开发过程中常用的导出列表以及操作数据库的方法及相关配置。应该可以应付百分之八十以上的需求了吧。之后有时间，会进行补充的，比如自定义插件、大批量数据的写法等。若文中有错误或者遗漏之处，还望指出，共同进步！
Java EasyExcel 读写 excel 解决 poi 读取大文件内存溢出问题
最新发布
记录工作中遇到的问题以及解决方案
03-10 563
以前项目使用 poi 读写 excel，但是 excel 中的数据量太大的话，用 poi 读取时就会导致 OOM 异常，这是因为 poi 在读取数据时，是将全部数据一次性都加载到内存中。
读取Excle内存溢出
sheepherder
07-17 357
前言 早上九点多，群里说生产上出现OOM，也定位到了出现异常的代码，读取Excle导致的，问了Excle里面有六万多条数据，生产上先加大了堆内存然后重启服务 问题确定 因为我们已经能大概确定问题代码了，但是我们还是想确认一下 登录服务器，首先要查找到对应的java进程 ps -ef|grep java 发现服务启动的参数类似下面的，生产设置的堆内存最大为512M -Xms50m -Xmx50m ...
Easy Excel
qq_45896330的博客
06-02 8829
EasyExcel快速开始文档:https://www.yuque.com/easyexcel/doc/easyexcel 看视频着实有点费时间，看视频2小时没弄懂，看官方文档5分钟可以上手了掉赞👍 👍我们可以通过提供的反向工具自动根据生成对应的，不需要人工一行一行的去写了，直接自动生成，只需要设置一个把实体类放在那个文件夹下就Ok 了，然后根据自己的需要稍微的改一改就OK，，爽歪歪😊👍字段名和属性名对应的规则是：字段名中包含下划线‘_’的，属性中会把下划线后边第一个字母大写，驼峰命名👍所以说字段
大数据量导出EXCEL-导出50个字段
weixin_37375983的博客
10-11 1388
业务系统存在大量数据，在基数为200万数据量的数据获取其中不同时间段的7-10万条数据，下载字段要求最低50个字段，通过EasyExcel,多线程，并发情况下稳定导出EXCEL.
Java使用xlsx-streamer和EasyExcel解决读取超大excel数据时OutOfMemoryError的问题
后端开发
05-22 4510
最近有个项目在生产环境做数据导入时，发现开始执行导入任务会出现cpu狂飙的情况。几番定位查找发现是在读取excel的时候导致此问题的发生，因此在通常使用的为POI的普通读取，在遇到大数据量excel，50mb一行或数十万行的级别的数据容易导致读取时内存溢出或者cpu飙升。以及解决Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
excel百万数据导入导出
江黎
10-12 3548
导入和导出
EasyExcel大批量数据导出OOM，个人案例和解决办法
zbh1957282580的博客
09-04 3237
通过分析，首先想到的是创建的对象GC不过来，但是为什么会GC不过来呢，通常来说，导出如果是没有用的对象，GC效率还是可以的，如果导致GC速度慢，可能是因为对象还存在引用的地方。①将集合list对象调用clear（）Api，进行remove，然后对这个集合对象赋值为null，这样这个集合对象在使用完之后，肯定没有了引用的地方。1：在我查询大量数据进行导出的时候往往第一次导出是没有问题，但是短时间内连续导出的时候就会出现OOM，导致服务节点重启。②调整虚拟机内存大小，我原配置是2g，调整为3g。
Excel百万数据导入内存溢出(OOM)解决方案，以及HSSFworkbook，XSSFworkbook，SXSSFworkbook失败分析
secretdaixin的博客
02-15 8746
Excel百万数据导入，出现内存溢出，HSSFworkbook数据上限太低，不可行；XSSFworkbook会发生OOM，不可行；SXSSFworkbook读取数据做导入还是会发生OOM，不可行。使用StreamingReader可以解决大文件读取造成的OOM，它可以根据配置将一个大文件分成多个临时文件，再读取一部分Row到内存中，全部读取完成后将临时文件删掉。但是它仅支持XLSX文件，需要java8及以上运行环境。
解决大批量数据导出Excel产生内存溢出的方案
09-01
解决大批量数据导出Excel产生内存溢出的方案
阿里EasyExcel的操作.pdf
08-04
easyexcel重写了poi对07版Excel的解析，能够原本一个3M的excel用POI sax依然需要100M左右内存降低到几M，并且再大的excel不会出现内存溢出，03版依赖POI的sax模式。在上层做了模型转换的封装，让使用者更加简单方便
easyexcel：快速，简单避免OOM的java处理Excel工具
02-02
EasyExcel 因为公司不方便用QQ，所以建议加钉钉群JAVA解析Excel工具EasyExcel 但他们都存在一个严重的问题就是非常的耗电量，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是Java解析，生成...
easyExcel实现大数据导出
11-13
阿里巴巴easyExcel实现大数据导出！！
快速、简洁、解决大文件内存溢出的java处理Excel工具 .rar
06-29
几番定位查找发现是在读取excel的时候导致此问题的发生，因此在通常使用的为POI的普通读取，在遇到大数据量excel，50mb大小或数十万行的级别的数据容易导致读取时内存溢出或者cpu飙升。需要注意，本文讨论的是针对...
sleep和wait的区别
热门推荐
hello world
05-08 8万+
对于sleep()方法，我们首先要知道该方法是属于Thread类中的。而wait()方法，则是属于Object类中的。 sleep()方法导致了程序暂停执行指定的时间，让出cpu该其他线程，但是他的监控状态依然保持者，当指定的时间到了又会自动恢复运行状态。 在调用sleep()方法的过程中，线程不会释放对象锁。 而当调用wait()方法的时候，线程会放弃对象锁，进入等待此对象的等待锁定池，只有针对...
java实现excel的导入
hello world
11-30 4万+
package com.nchu.wechatOrder.controller;   import jxl.Cell; import jxl.Sheet; import jxl.Workbook; import jxl.read.biff.BiffException; import org.springframework.stereotype.Controller; import o...
java8的stream取max
hello world
05-28 3万+
java8的stream取max public static void main(String[] args) { List<Integer> list = Arrays.asList(1, 2, 3, 4, 5, 6); Integer max = list.stream().max((a, b) -> { if (a ...
springboot 中easyexcel导入excel文档中大数据量
06-02
在Spring Boot中使用EasyExcel导入Excel文档时，如果数据量较大，可以考虑使用分批次读取数据的方式，避免一次性读取过多数据导致内存溢出的问题。 具体实现可以参考以下步骤： 1. 定义一个数据处理器类，实现EasyExcel的ReadListener接口，在onRead方法中处理每一批次读取到的数据。 2. 在Controller中定义一个方法，接收前端上传的Excel文件，并使用EasyExcel的read方法读取Excel文件，同时传入数据处理器类的实例作为参数。 3. 在数据处理器类中，设置每批次读取的数据量，例如每次读取1000条数据。 4. 在onRead方法中，处理每一批次读取到的数据，例如将数据保存到数据库中。 5. 如果还有未处理完的数据，继续读取并处理，直到读取完所有数据。 下面是一个示例代码： ```java @Component public class ExcelDataListener implements ReadListener<User> { private List<User> userList = new ArrayList<>(); @Override public void onRead(List<User> data, AnalysisContext context) { userList.addAll(data); if (userList.size() >= 1000) { // 处理每一批次读取到的数据 saveUserList(userList); userList.clear(); } } @Override public void onException(Exception exception, AnalysisContext context) { // 处理异常 } private void saveUserList(List<User> userList) { // 将数据保存到数据库中 } } @RestController public class ExcelController { @Autowired private ExcelDataListener excelDataListener; @PostMapping("/upload") public void uploadExcel(@RequestParam("file") MultipartFile file) throws IOException { EasyExcel.read(file.getInputStream(), User.class, excelDataListener).sheet().doRead(); // 处理剩余未处理的数据 excelDataListener.saveUserList(excelDataListener.getUserList()); } } ``` 注意，在使用分批次读取数据时，需要考虑如何处理异常情况，以及在处理完所有数据后如何清理资源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值