基于SpringBoot的多线程实现快速导入EXCEL

已于 2022-06-27 12:19:35 修改
阅读量7k 收藏 11
点赞数 7
分类专栏： java 文章标签： springboot poi excel thread
于 2019-04-19 18:57:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013199013/article/details/89406139
版权

前言：笔者已经做过多个版本的EXCEL导入功能。此次出一版基于SpringBoot的多线程实现快速导入EXCEL，效率之高体现在速度之快，单次解析的数据量之大。对比如下：

第一版：导入5万条数据，花费近一个时

第二版：导入10万条数据，花费23分钟，优化后达到了15分钟。

第三版：导入112400条数据，花费3秒钟，极限是15万。数据再增大将会造成内存溢出。

第三版：采用了多线程 

1、不分服务，导入100万条数据，花费30秒之内。

2、分服务，速度有所下降，80秒之内。

效果图如下：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
百度没有我的爱
关注
  • 7
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 88
    评论
专栏目录
订阅专栏
【二十五】springboot使用EasyExcel和线程池实现多线程导入Excel数据
weixin_56995925的博客
07-23 1万+
springboot使用EasyExcel和线程池实现多线程导入Excel数据
easy-excel 解决百万数据导入导出，性能很强
m0_67403076的博客
08-01 2676
上个月公司有个老系统反馈，导入导出数据量一大就出现卡顿，半天不响应。刚来领导要求我改造一下，在gitee和度娘搜索比较了几个，easy-excel性能是非常非常高的，具体还要结合自身的网络环境和代码环境。测试过代码，八九十万数据毫无压力，平均一万一秒还要少。当然还是要看网络环境和代码环境。总体easy-excel比起easy-poi性能高了不少。先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。...
多线程导入Excel
Zxdwr520的博客
04-28 4611
UserImportController @RestController @CrossOrigin @Slf4j @RequestMapping("/user") public class UserImportController { @Autowired UserService userService; /** * 多线程导入 * @param file * @return */ @PostMapping("...
Spring Boot大数据导出：自动拆分Excel文件，实现高效异步处理
最新发布
qq_53723451的博客
06-04 85
通过使用SpringBoot和Apache POI，我们可以高效地导出大规模数据到Excel文件，并通过分页查询和异步处理，确保系统的性能不受影响。为了进一步优化性能，可以考虑使用从库进行数据查询，减轻主库压力。
vue+springboot多线程实现excel的上传和导出之心路历程
weixin_47598860的博客
12-31 1419
vue+springboot 多线程实现excel的文件上传导出之心路历程
springboot +easyExcel +多线程 实现批量导入
amspony的博客
02-28 2002
只有业务层,可根据需求修改 @Override public CommonResultVo mxImport(String date, MultipartFile[] files) { List<String> errorTableNames = new ArrayList<>(); List<List<Object>> listenerList = getListenerList(date, files);
记录一次从15w条数据的excel导入到数据库优化过程（22秒到3秒）
你若为我繁华，我愿成你烟花
02-25 6194
记录一次15w数据的excel导入到数据库优化过程（22秒到3秒）
基于springboot和poi实现单线程和多线程导出Excel之单线程导出的代码
05-10
基于springboot和poi实现单线程和多线程导出Excel之单线程导出的代码。对于工作中导出Excel数据的小伙伴有一定的帮助作用。代码比较简单易学不需要太深的底层只是既可以使用，代码完全可以直接复制粘贴即可能在自己...
springboot实现将Excel导入数据库
04-12
在实际项目中，我们还可能需要考虑错误处理、日志记录、多线程处理大文件等复杂情况。此外，为了提高效率，可以使用Spring Batch进行批量数据处理，或者使用Spring Data JPA的Repository来简化数据库操作。 总之，...
java多线程导出excel（千万级别）优化
12-05
Java多线程导出Excel是处理大数据量时的一种高效策略，尤其在面对千万级别的数据时。传统的Apache POI库在处理大规模数据时可能会遇到栈溢出（StackOverflowError）和内存溢出（OutOfMemoryError）等问题，因为这些...
SpringBoot实现Excel文件解析
03-22
在Spring Boot框架中，实现Excel文件的解析是一个常见的需求，特别是在数据导入、导出或数据分析的应用场景中。本文将深入探讨如何使用Spring Boot结合Java来处理Excel文件。 首先，我们需要引入处理Excel文件的库...
Java实现excel大数据量导入
09-07
Java实现Excel大数据量导入是一项常见的任务，特别是在处理企业级数据导入导出时。Apache POI 是Java中广泛使用的库，用于处理Microsoft Office格式的文件，包括Excel。然而，当涉及大量数据时，直接使用POI的用户...
SpringBoot中使用Easyexcel实现Excel导入导出功能（一）
凡夫编程
12-08 2万+
excel表格的导入与导出，可以说是业务系统里比较常见的功能了，早些时候相信很多人都是使用POI实现excel的导入与导出功能，后来出现了easyexcel，从我自己的使用感受来说，我更喜欢使用easyexcel，除了封装的比较好外，最重要的是对超级大excel导入有了更好的方案，与POI相比，速度更快，占用内存更少。
EasyExcel 百万级别数据高效率导入/导出
weixin_42225963的博客
07-15 1901
EasyExcel 百万级别数据高效率导入/导出
EXCEL解析导入，多线程批量插入大量数据
qq_43548264的博客
07-17 2131
EXCEL解析导入，批量插入大量数据 excel导入基本分为3个步骤： 1. 上传文件 2. 解析文件 3. 逻辑内容 首先查看是哪一步需要优化，一般需要在第3步，插入数据库的逻辑优化。 如果数据量比较大的话，单条sql执行很慢，几条数据几次和数据库交互。影响执行效率。解决办法： 1. 批量插入 2. 多线程执行 直接贴代码，项目实例： public Result importExcel1() { AmroContext context = AmroContextUtil.get
excel表数据多线程导入数据库
_凌晨两点半_的博客
11-02 1619
Student table 一个学生表 excel表 Student实体 @Data public class Student { private int id; private int studentId; private int teacherId; private String studentName; private int studentAge; private int studentSex; } StudentMapper void stu
EasyExcel实现百万级数据的导入导出
qq_42553489的博客
08-08 5025
EasyExcel实现百万级数据的导入导出
百万级数据EXCEL导出--easyexcel
Java_Mrsun的博客
01-03 1万+
easyexcel 项目git地址为: https://github.com/alibaba/easyexcel 官方使用指南见: https://github.com/alibaba/easyexcel/blob/master/quickstart.md 官方介绍：Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套...
【Excel】使用 SpringBoot 实现 Excel 文件的导入与导出
热门推荐
sco5282的博客
11-14 2万+
为了大家能更好地理解这篇博文，在看之前，建议去看看我的上一篇博文：【File】使用 SpringBoot 实现文件的上传与下载 这两篇博文互有联系：文件的导入就是文件的上传；文件的导出就是文件的下载。 至于为什么是 导入/导出 Excel 文件呢？因为 Excel 文件用的频率更多吧。顺便来复习下通过 EasyExcel 来操作 Excel 文件。 ...
java实现多线程导入excel
06-03
Java实现多线程导入Excel通常需要将Excel文件分割成多个部分，然后将每个部分分配给一个线程进行处理，最后将结果合并。下面是一个简单的实现示例： ```java public class ExcelImporter { private static final ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 88
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

百度没有我的爱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值