还在用 POI？试试 EasyExcel，轻松导出 100W 数据，学Java看这就完事了

最新推荐文章于 2024-07-24 14:11:59 发布
最新推荐文章于 2024-07-24 14:11:59 发布
阅读量753 收藏 26
点赞数 10
分类专栏： 2024年程序员学习 文章标签： java windows 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60721860/article/details/136973847
版权

public Integer getAge() {

return age;

}

public void setAge(Integer age) {

this.age = age;

}

public Date getBirthday() {

return birthday;

}

public void setBirthday(Date birthday) {

this.birthday = birthday;

}

}

复制代码

2.3 测试环境

2.3.1.数据量少的(20W以内吧)：一个SHEET一次查询导出

/**

* 针对较少的记录数(20W以内大概)可以调用该方法一次性查出然后写入到EXCEL的一个SHEET中

* 注意： 一次性查询出来的记录数量不宜过大，不会内存溢出即可。

* @throws IOException

*/

@Test

public void writeExcelOneSheetOnceWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream(“E:\temp\withoutHead1.xlsx”);

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“用户ID”));

titles.add(Arrays.asList(“名称”));

titles.add(Arrays.asList(“年龄”));

titles.add(Arrays.asList(“生日”));

table.setHead(titles);

// 查询数据导出即可 比如说一次性总共查询出100条数据

List<List> userList = new ArrayList<>();

for (int i = 0; i < 100; i++) {

userList.add(Arrays.asList(“ID_” + i, “小明” + i, String.valueOf(i), new Date().toString()));

}

writer.write0(userList, sheet, table);

writer.finish();

}

复制代码

2.3.2.数据量适中（100W以内）：一个SHEET分批查询导出

/**

* 针对105W以内的记录数可以调用该方法分多批次查出然后写入到EXCEL的一个SHEET中

* 注意：

* 每次查询出来的记录数量不宜过大，根据内存大小设置合理的每次查询记录数，不会内存溢出即可。

* 数据量不能超过一个SHEET存储的最大数据量105W

* @throws IOException

*/

@Test

public void writeExcelOneSheetMoreWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream(“E:\temp\withoutHead2.xlsx”);

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“用户ID”));

titles.add(Arrays.asList(“名称”));

titles.add(Arrays.asList(“年龄”));

titles.add(Arrays.asList(“生日”));

table.setHead(titles);

// 模拟分批查询：总记录数50条，每次查询20条，  分三次查询 最后一次查询记录数是10

Integer totalRowCount = 50;

Integer pageSize = 20;

Integer writeCount = totalRowCount % pageSize == 0 ? (totalRowCount / pageSize) : (totalRowCount / pageSize + 1);

// 注： 此处仅仅为了模拟数据，实用环境不需要将最后一次分开，合成一个即可， 参数为：currentPage = i+1;  pageSize = pageSize

for (int i = 0; i < writeCount; i++) {

// 前两次查询 每次查20条数据

if (i < writeCount - 1) {

List<List> userList = new ArrayList<>();

for (int j = 0; j < pageSize; j++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

} else if (i == writeCount - 1) {

// 最后一次查询 查多余的10条记录

List<List> userList = new ArrayList<>();

Integer lastWriteRowCount = totalRowCount - (writeCount - 1) * pageSize;

for (int j = 0; j < lastWriteRowCount; j++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

}

writer.finish();

}

复制代码

2.3.3.数据量很大（几百万都行）：多个SHEET分批查询导出

/**

* 针对几百万的记录数可以调用该方法分多批次查出然后写入到EXCEL的多个SHEET中

* 注意：

* perSheetRowCount % pageSize要能整除  为了简洁，非整除这块不做处理

* 每次查询出来的记录数量不宜过大，根据内存大小设置合理的每次查询记录数，不会内存溢出即可。

* @throws IOException

*/

@Test

public void writeExcelMoreSheetMoreWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream(“E:\temp\withoutHead3.xlsx”);

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET名称

String sheetName = “测试SHEET”;

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“用户ID”));

titles.add(Arrays.asList(“名称”));

titles.add(Arrays.asList(“年龄”));

titles.add(Arrays.asList(“生日”));

table.setHead(titles);

// 模拟分批查询：总记录数250条，每个SHEET存100条，每次查询20条  则生成3个SHEET，前俩个SHEET查询次数为5， 最后一个SHEET查询次数为3 最后一次写的记录数是10

// 注：该版本为了较少数据判断的复杂度，暂时perSheetRowCount要能够整除pageSize， 不去做过多处理  合理分配查询数据量大小不会内存溢出即可。

Integer totalRowCount = 250;

Integer perSheetRowCount = 100;

Integer pageSize = 20;

Integer sheetCount = totalRowCount % perSheetRowCount == 0 ? (totalRowCount / perSheetRowCount) : (totalRowCount / perSheetRowCount + 1);

Integer previousSheetWriteCount = perSheetRowCount / pageSize;

Integer lastSheetWriteCount = totalRowCount % perSheetRowCount == 0 ?

previousSheetWriteCount :

(totalRowCount % perSheetRowCount % pageSize == 0 ? totalRowCount % perSheetRowCount / pageSize : (totalRowCount % perSheetRowCount / pageSize + 1));

for (int i = 0; i < sheetCount; i++) {

// 创建SHEET

Sheet sheet = new Sheet(i, 0);

sheet.setSheetName(sheetName + i);

if (i < sheetCount - 1) {

// 前2个SHEET, 每个SHEET查5次 每次查20条 每个SHEET写满100行  2个SHEET合计200行  实用环境：参数：currentPage: j+1 + previousSheetWriteCount*i, pageSize: pageSize

for (int j = 0; j < previousSheetWriteCount; j++) {

List<List> userList = new ArrayList<>();

for (int k = 0; k < 20; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

} else if (i == sheetCount - 1) {

// 最后一个SHEET 实用环境不需要将最后一次分开，合成一个即可， 参数为：currentPage = i+1;  pageSize = pageSize

for (int j = 0; j < lastSheetWriteCount; j++) {

// 前俩次查询 每次查询20条

if (j < lastSheetWriteCount - 1) {

List<List> userList = new ArrayList<>();

for (int k = 0; k < 20; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

} else if (j == lastSheetWriteCount - 1) {

// 最后一次查询 将剩余的10条查询出来

List<List> userList = new ArrayList<>();

Integer lastWriteRowCount = totalRowCount - (sheetCount - 1) * perSheetRowCount - (lastSheetWriteCount - 1) * pageSize;

for (int k = 0; k < lastWriteRowCount; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明1”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

}

}

}

writer.finish();

}

复制代码

2.4 生产环境

2.4.0.Excel常量类

package com.authorization.privilege.constant;

/**

* @author qjwyss

* @description EXCEL常量类

*/

public class ExcelConstant {

/**

* 每个sheet存储的记录数 100W

*/

public static final Integer PER_SHEET_ROW_COUNT = 1000000;

/**

* 每次向EXCEL写入的记录数(查询每页数据大小) 20W

*/

public static final Integer PER_WRITE_ROW_COUNT = 200000;

}

复制代码

注：为了书写方便，此处俩个必须要整除，可以省去很多不必要的判断。另外如果自己测试，可以改为100,20。

2.4.1.数据量少的(20W以内吧)：一个SHEET一次查询导出

@Override

public ResultVO exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {

ServletOutputStream out = null;

try {

out = response.getOutputStream();

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置EXCEL名称

String fileName = new String((“SystemExcel”).getBytes(), “UTF-8”);

// 设置SHEET名称

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“系统列表sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“系统名称”));

titles.add(Arrays.asList(“系统标识”));

titles.add(Arrays.asList(“描述”));

titles.add(Arrays.asList(“状态”));

titles.add(Arrays.asList(“创建人”));

titles.add(Arrays.asList(“创建时间”));

table.setHead(titles);

// 查数据写EXCEL

List<List> dataList = new ArrayList<>();

List sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
img
img
img

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）
img

最后

针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。希望可以帮助到大家。

最新整理面试题
在这里插入图片描述

上述的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题

最新整理电子书

在这里插入图片描述

最新整理大厂面试文档

在这里插入图片描述

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

[外链图片转存中…(img-uYIfMvZ5-1711194414265)]
[外链图片转存中…(img-Hwasds7f-1711194414265)]
[外链图片转存中…(img-lbrbfSgn-1711194414266)]

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）
[外链图片转存中…(img-KGlQkJJY-1711194414266)]

最后

针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。希望可以帮助到大家。

最新整理面试题
[外链图片转存中…(img-52bm1OJp-1711194414266)]

上述的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题

最新整理电子书

[外链图片转存中…(img-Qmp6dSNi-1711194414266)]

最新整理大厂面试文档

[外链图片转存中…(img-HoFueXKc-1711194414267)]

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

架构师老李华
关注
专栏目录
使用easy excel进行简单的excel表格导入导出
weixin_53385542的博客
11-17 3287
我的学习笔记
还在用 POI？试试 EasyExcel，轻松导出 100W 数据
2303_77877769的博客
04-08 914
Java架构学习技术内容包含有：Spring，Dubbo，MyBatis, RPC, 源码分析，高并发、高性能、分布式,性能优化，微服务 高级架构开发等等。还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书+2021年最新大厂面试题。《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！Java开发知识点，真正体系化！**
使用EasyExcel实现excel导出，支持百万大数据量导出-----超简单
热门推荐
MCP的博客
02-10 1万+
超简单的EasyExcel实现excel导出，支持百万大数据量导出,通过设置sheet数量，完成分批导出，每个sheet存100万数据，每次查询插入20万数据，避免超时，内存溢出等问题，可以根据服务器配置调整参数设置。
Easy Excel使用
最新发布
jar_home的博客
07-24 327
Easy Excel
EasyExcel导出大数据文件（100万条）_easyexcel导出百万数据(1)
2301_79988566的博客
04-29 936
System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“总耗时：” + (t2 - t1) / 1000D);
EasyExcel导出大数据文件（100万条）
Shu0Shuo的博客
05-09 6837
啊啊啊，脑袋要炸了！！
什么？你还在用POI导出数据？EasyExcel解决大数据量导出OOM(内存溢出)
weixin_44951037的博客
02-06 3963
前言 今天忙完，上面派发了一个任务，有个项目的导出接口数据量太大了，导出直接内存溢出(OOM)，暂时做法是限制导出的行数，然后让我去研究一下，通过一下午的研究，通过EasyExcel解决了这个问题，并且大幅度提高了映射速度，如下图： EasyExcel介绍 EasyExcel是一个基于Java的简单、省内存的读写Excel的开源项目,alibaba旗下的高性能处理Excel工具。在尽可能节约内存的情况下支持读写百M的Excel. Java解析、生成Excel比较常用的框架有Apache POI、JXL，但
利用easyExcel导出上万条数据，自定义策略合并单元格
12-04
本文将深入探讨如何使用阿里云开发的开源库EasyExcel来处理大数据导出，并结合Apache POI库，以及SpringBoot框架，实现上万条数据的自定义策略合并单元格导出。我们将基于提供的技术栈——EasyExcel 2.1.7，Apache ...
easyExcel实现大数据导出
11-13
在Java开发中，数据导出是一项常见的任务，特别是在大数据处理中。阿里巴巴的开源库`easyExcel`为此提供了高效且易用的解决方案。`easyExcel`是专门为处理大量数据设计的一个轻量级工具，它能够有效地解决内存溢出...
【Java】--POI、EasyExcel等导入导出对比
寻梦友的博客
04-16 1750
在很多老项目中，我们经常通过POI框架来进行Excel数据的导入和导出，但这种方式存在很大的缺点：poi框架使用复杂，sax解析模式不容易操作，数据量大起来容易OOM，POI存在并发报错等问题。现有阿里巴巴开源的一个excel处理框架EasyExce，以使用简单、节省内存著称。该项目实现了列表数据的导入，分页列表导出，支持自定义格式，支持模版以及模板和列表的混合导出。她的优点是解决了POI方式存在的问题：通过解压文件的方式加载，一行一行地加载，并且抛弃样式字体等不重要的数据，降低内存的占用。。
EasyExcel快速导出 100W 数据
weixin_42023748的博客
01-09 3065
遂抛弃自己封装的，转战研究阿里开源的EasyExcel. 不过 说实话，当时自己封装的那个还是有些技术含量的，例如：外观模式，模板方法模式，以及委托思想，组合思想，可以看看。不过一是存在封装不太友好使用不方便的问题，二是这些poi的操作方式仍然存在内存占用过大的问题,三是存在空循环和整除的时候数据有缺陷的问题，以及存在内存溢出的隐患。造的假数据，100W条记录，18个字段，测试导出是70s。在实际上产环境使用的时候，具体的还是要看自己写的sql的性能。sql性能快的话，会很快。
百万数据导出
didong1899的博客
03-15 118
package poi; import java.io.FileOutputStream;import java.io.IOException;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import jav...
EasyExcel实现百万级数据的导入导出
qq_42553489的博客
08-08 6086
EasyExcel实现百万级数据的导入导出
真香！EasyExcel实现Excel百万级数据导出测验，高效低内存占用。 （记一次线上问题分析）
编程小蜜蜂
01-22 1976
一个excel导出的线上问题的分析和部分论证，并实测EasyExcel在处理Excel百万级数据导出性能优异且低内存占用，并对深分页的性能问题进行了解决和验证。
easyExcel导出百万级数据，亲测实用
java程序员的蜕变之路
11-09 375
ExcelProperty(value = "单位") 导出字段名设置。@ExcelIgnore 忽略不用导出。controller层，带分页的。pom.xml添加配置。实体类DemoNew。
使用 Easy Excel 插件实现Excel文件高效导入导出接口
最难不过坚持，与你共同进步
08-25 1466
EasyExcel是一个基于Java的开源Excel工具，它提供了方便的API来读取和写入Excel文件。与Apache POI相比，EasyExcel具有更高的性能和更简洁的编程方式。它可以轻松地处理大量数据并生成复杂的Excel文件。通过EasyExcel插件，我们可以轻松地实现导入和导出Excel文件的功能。使用它可以减少开发工作量，提高开发效率，并且支持大数据量的读写操作。
EasyExcel处理Mysql百万数据的导入导出案例，秒级效率，拿来即用！
JavaBuild的博客
05-10 2902
以上就是SpringBoot项目下，通过阿里开源的EasyExcel技术进行百万级数据的导入与导出，不过针对百万数据量的导入，时间在分钟级别，这很明显不够优秀，但考虑到本文的篇幅已经很长了，我们在下一篇文章针对导入进行性能优化，敬请期待！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值