还在用 POI？试试 EasyExcel，轻松导出 100W 数据，不卡死，好用到爆

最新推荐文章于 2024-08-16 17:12:26 发布

F1814397

最新推荐文章于 2024-08-16 17:12:26 发布

阅读量1k

点赞数 26

分类专栏：程序员文章标签： java windows 服务器

本文链接：https://blog.csdn.net/F1814397/article/details/137718674

版权

程序员专栏收录该内容

765 篇文章 1 订阅

订阅专栏

this.age = age;

this.birthday = birthday;

}

public String getUid() {

return uid;

}

public void setUid(String uid) {

this.uid = uid;

}

public String getName() {

return name;

}

public void setName(String name) {

this.name = name;

}

public Integer getAge() {

return age;

}

public void setAge(Integer age) {

this.age = age;

}

public Date getBirthday() {

return birthday;

}

public void setBirthday(Date birthday) {

this.birthday = birthday;

}

复制代码

2.3 测试环境

2.3.1.数据量少的(20W以内吧)：一个SHEET一次查询导出

/**

* 针对较少的记录数(20W以内大概)可以调用该方法一次性查出然后写入到EXCEL的一个SHEET中

* 注意：一次性查询出来的记录数量不宜过大，不会内存溢出即可。

* @throws IOException

@Test

public void writeExcelOneSheetOnceWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream(“E:\temp\withoutHead1.xlsx”);

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“用户ID”));

titles.add(Arrays.asList(“名称”));

titles.add(Arrays.asList(“年龄”));

titles.add(Arrays.asList(“生日”));

table.setHead(titles);

// 查询数据导出即可比如说一次性总共查询出100条数据

List<List> userList = new ArrayList<>();

for (int i = 0; i < 100; i++) {

userList.add(Arrays.asList(“ID_” + i, “小明” + i, String.valueOf(i), new Date().toString()));

}

writer.write0(userList, sheet, table);

writer.finish();

}

复制代码

2.3.2.数据量适中（100W以内）：一个SHEET分批查询导出

/**

* 针对105W以内的记录数可以调用该方法分多批次查出然后写入到EXCEL的一个SHEET中

* 注意：

* 每次查询出来的记录数量不宜过大，根据内存大小设置合理的每次查询记录数，不会内存溢出即可。

* 数据量不能超过一个SHEET存储的最大数据量105W

* @throws IOException

@Test

public void writeExcelOneSheetMoreWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream(“E:\temp\withoutHead2.xlsx”);

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“用户ID”));

titles.add(Arrays.asList(“名称”));

titles.add(Arrays.asList(“年龄”));

titles.add(Arrays.asList(“生日”));

table.setHead(titles);

// 模拟分批查询：总记录数50条，每次查询20条，分三次查询最后一次查询记录数是10

Integer totalRowCount = 50;

Integer pageSize = 20;

Integer writeCount = totalRowCount % pageSize == 0 ? (totalRowCount / pageSize) : (totalRowCount / pageSize + 1);

// 注：此处仅仅为了模拟数据，实用环境不需要将最后一次分开，合成一个即可，参数为：currentPage = i+1; pageSize = pageSize

for (int i = 0; i < writeCount; i++) {

// 前两次查询每次查20条数据

if (i < writeCount - 1) {

List<List> userList = new ArrayList<>();

for (int j = 0; j < pageSize; j++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

} else if (i == writeCount - 1) {

// 最后一次查询查多余的10条记录

List<List> userList = new ArrayList<>();

Integer lastWriteRowCount = totalRowCount - (writeCount - 1) * pageSize;

for (int j = 0; j < lastWriteRowCount; j++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

writer.finish();

}

复制代码

2.3.3.数据量很大（几百万都行）：多个SHEET分批查询导出

/**

* 针对几百万的记录数可以调用该方法分多批次查出然后写入到EXCEL的多个SHEET中

* 注意：

* perSheetRowCount % pageSize要能整除为了简洁，非整除这块不做处理

* 每次查询出来的记录数量不宜过大，根据内存大小设置合理的每次查询记录数，不会内存溢出即可。

* @throws IOException

@Test

public void writeExcelMoreSheetMoreWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream(“E:\temp\withoutHead3.xlsx”);

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET名称

String sheetName = “测试SHEET”;

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“用户ID”));

titles.add(Arrays.asList(“名称”));

titles.add(Arrays.asList(“年龄”));

titles.add(Arrays.asList(“生日”));

table.setHead(titles);

// 模拟分批查询：总记录数250条，每个SHEET存100条，每次查询20条则生成3个SHEET，前俩个SHEET查询次数为5，最后一个SHEET查询次数为3 最后一次写的记录数是10

// 注：该版本为了较少数据判断的复杂度，暂时perSheetRowCount要能够整除pageSize，不去做过多处理合理分配查询数据量大小不会内存溢出即可。

Integer totalRowCount = 250;

Integer perSheetRowCount = 100;

Integer pageSize = 20;

Integer sheetCount = totalRowCount % perSheetRowCount == 0 ? (totalRowCount / perSheetRowCount) : (totalRowCount / perSheetRowCount + 1);

Integer previousSheetWriteCount = perSheetRowCount / pageSize;

Integer lastSheetWriteCount = totalRowCount % perSheetRowCount == 0 ?

previousSheetWriteCount :

(totalRowCount % perSheetRowCount % pageSize == 0 ? totalRowCount % perSheetRowCount / pageSize : (totalRowCount % perSheetRowCount / pageSize + 1));

for (int i = 0; i < sheetCount; i++) {

// 创建SHEET

Sheet sheet = new Sheet(i, 0);

sheet.setSheetName(sheetName + i);

if (i < sheetCount - 1) {

// 前2个SHEET, 每个SHEET查5次每次查20条每个SHEET写满100行 2个SHEET合计200行实用环境：参数：currentPage: j+1 + previousSheetWriteCount*i, pageSize: pageSize

for (int j = 0; j < previousSheetWriteCount; j++) {

List<List> userList = new ArrayList<>();

for (int k = 0; k < 20; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

} else if (i == sheetCount - 1) {

// 最后一个SHEET 实用环境不需要将最后一次分开，合成一个即可，参数为：currentPage = i+1; pageSize = pageSize

for (int j = 0; j < lastSheetWriteCount; j++) {

// 前俩次查询每次查询20条

if (j < lastSheetWriteCount - 1) {

List<List> userList = new ArrayList<>();

for (int k = 0; k < 20; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

} else if (j == lastSheetWriteCount - 1) {

// 最后一次查询将剩余的10条查询出来

List<List> userList = new ArrayList<>();

Integer lastWriteRowCount = totalRowCount - (sheetCount - 1) * perSheetRowCount - (lastSheetWriteCount - 1) * pageSize;

for (int k = 0; k < lastWriteRowCount; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明1”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

writer.finish();

}

复制代码

2.4 生产环境

2.4.0.Excel常量类

package com.authorization.privilege.constant;

/**

* @author qjwyss

* @description EXCEL常量类

public class ExcelConstant {

/**

* 每个sheet存储的记录数 100W

public static final Integer PER_SHEET_ROW_COUNT = 1000000;

/**

* 每次向EXCEL写入的记录数(查询每页数据大小) 20W

public static final Integer PER_WRITE_ROW_COUNT = 200000;

}

复制代码

注：为了书写方便，此处俩个必须要整除，可以省去很多不必要的判断。另外如果自己测试，可以改为100,20。

2.4.1.数据量少的(20W以内吧)：一个SHEET一次查询导出

@Override

public ResultVO exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {

ServletOutputStream out = null;

try {

out = response.getOutputStream();

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置EXCEL名称

String fileName = new String((“SystemExcel”).getBytes(), “UTF-8”);

// 设置SHEET名称

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“系统列表sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“系统名称”));

titles.add(Arrays.asList(“系统标识”));

titles.add(Arrays.asList(“描述”));

titles.add(Arrays.asList(“状态”));

titles.add(Arrays.asList(“创建人”));

titles.add(Arrays.asList(“创建时间”));

table.setHead(titles);

// 查数据写EXCEL

List<List> dataList = new ArrayList<>();

List sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);

if (!CollectionUtils.isEmpty(sysSystemVOList)) {

sysSystemVOList.forEach(eachSysSystemVO -> {

dataList.add(Arrays.asList(

eachSysSystemVO.getSystemName(),

eachSysSystemVO.getSystemKey(),

eachSysSystemVO.getDescription(),

eachSysSystemVO.getState().toString(),

eachSysSystemVO.getCreateUid(),

eachSysSystemVO.getCreateTime().toString()

));

});

}

writer.write0(dataList, sheet, table);

// 下载EXCEL

response.setHeader(“Content-Disposition”, “attachment;filename=” + new String((fileName).getBytes(“gb2312”), “ISO-8859-1”) + “.xls”);

response.setContentType(“multipart/form-data”);

response.setCharacterEncoding(“utf-8”);

writer.finish();

out.flush();

} finally {

if (out != null) {

try {

out.close();

} catch (Exception e) {

e.printStackTrace();

}

return ResultVO.getSuccess(“导出系统列表EXCEL成功”);

}

复制代码

2.4.2.数据量适中（100W以内）：一个SHEET分批查询导出

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

为什么我不完全主张自学？
①平台上的大牛基本上都有很多年的工作经验了，你有没有想过之前行业的门槛是什么样的，现在行业门槛是什么样的？以前企业对于程序员能力要求没有这么高，甚至十多年前你只要会写个“Hello World”，你都可以入门这个行业，所以以前要入门是完全可以入门的。
②现在也有一些优秀的年轻大牛，他们或许也是自学成才，但是他们一定是具备优秀的学习能力，优秀的自我管理能力（时间管理，静心坚持等方面）以及善于发现问题并总结问题。
如果说你认为你的目标十分明确，能做到第②点所说的几个点，以目前的市场来看，你才真正的适合去自学。

除此之外，对于绝大部分人来说，报班一定是最好的一种快速成长的方式。但是有个问题，现在市场上的培训机构质量参差不齐，如果你没有找准一个好的培训班，完全是浪费精力，时间以及金钱，这个需要自己去甄别选择。

我个人建议线上比线下的性价比更高，线下培训价格基本上没2W是下不来的，线上教育现在比较成熟了，此次疫情期间，学生基本上都感受过线上的学习模式。相比线下而言，线上的优势以我的了解主要是以下几个方面：
①价格：线上的价格基本上是线下的一半；
②老师：相对而言线上教育的师资力量比线下更强大也更加丰富，资源更好协调；
③时间：学习时间相对而言更自由，不用裸辞学习，适合边学边工作，降低生活压力；
④课程：从课程内容来说，确实要比线下讲的更加深入。

应该学哪些技术才能达到企业的要求？（下图总结）

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
这个行业，所以以前要入门是完全可以入门的。
②现在也有一些优秀的年轻大牛，他们或许也是自学成才，但是他们一定是具备优秀的学习能力，优秀的自我管理能力（时间管理，静心坚持等方面）以及善于发现问题并总结问题。
如果说你认为你的目标十分明确，能做到第②点所说的几个点，以目前的市场来看，你才真正的适合去自学。

应该学哪些技术才能达到企业的要求？（下图总结）

[外链图片转存中…(img-gr964LtD-1712997381023)]

[外链图片转存中…(img-HvvexKiR-1712997381023)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！