还在用 POI?试试 EasyExcel,轻松导出 100W 数据,不卡死,好用到爆

文章讲述了在不同数据量情况下(少于20万、100万以内和大量数据),如何使用Java进行Excel数据的高效导出,包括一次性查询、分批查询以及针对大数据量时的多SHEET处理。同时提及了Java工程师的学习资源和面试准备,特别是算法、数据结构、数据库知识和并发编程等内容。
摘要由CSDN通过智能技术生成

this.age = age;

this.birthday = birthday;

}

public String getUid() {

return uid;

}

public void setUid(String uid) {

this.uid = uid;

}

public String getName() {

return name;

}

public void setName(String name) {

this.name = name;

}

public Integer getAge() {

return age;

}

public void setAge(Integer age) {

this.age = age;

}

public Date getBirthday() {

return birthday;

}

public void setBirthday(Date birthday) {

this.birthday = birthday;

}

}

复制代码

2.3 测试环境

2.3.1.数据量少的(20W以内吧):一个SHEET一次查询导出

/**

* 针对较少的记录数(20W以内大概)可以调用该方法一次性查出然后写入到EXCEL的一个SHEET中

* 注意: 一次性查询出来的记录数量不宜过大,不会内存溢出即可。

* @throws IOException

*/

@Test

public void writeExcelOneSheetOnceWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream(“E:\temp\withoutHead1.xlsx”);

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“用户ID”));

titles.add(Arrays.asList(“名称”));

titles.add(Arrays.asList(“年龄”));

titles.add(Arrays.asList(“生日”));

table.setHead(titles);

// 查询数据导出即可 比如说一次性总共查询出100条数据

List<List> userList = new ArrayList<>();

for (int i = 0; i < 100; i++) {

userList.add(Arrays.asList(“ID_” + i, “小明” + i, String.valueOf(i), new Date().toString()));

}

writer.write0(userList, sheet, table);

writer.finish();

}

复制代码

2.3.2.数据量适中(100W以内):一个SHEET分批查询导出

/**

* 针对105W以内的记录数可以调用该方法分多批次查出然后写入到EXCEL的一个SHEET中

* 注意:

* 每次查询出来的记录数量不宜过大,根据内存大小设置合理的每次查询记录数,不会内存溢出即可。

* 数据量不能超过一个SHEET存储的最大数据量105W

* @throws IOException

*/

@Test

public void writeExcelOneSheetMoreWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream(“E:\temp\withoutHead2.xlsx”);

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“用户ID”));

titles.add(Arrays.asList(“名称”));

titles.add(Arrays.asList(“年龄”));

titles.add(Arrays.asList(“生日”));

table.setHead(titles);

// 模拟分批查询:总记录数50条,每次查询20条,  分三次查询 最后一次查询记录数是10

Integer totalRowCount = 50;

Integer pageSize = 20;

Integer writeCount = totalRowCount % pageSize == 0 ? (totalRowCount / pageSize) : (totalRowCount / pageSize + 1);

// 注: 此处仅仅为了模拟数据,实用环境不需要将最后一次分开,合成一个即可, 参数为:currentPage = i+1;  pageSize = pageSize

for (int i = 0; i < writeCount; i++) {

// 前两次查询 每次查20条数据

if (i < writeCount - 1) {

List<List> userList = new ArrayList<>();

for (int j = 0; j < pageSize; j++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

} else if (i == writeCount - 1) {

// 最后一次查询 查多余的10条记录

List<List> userList = new ArrayList<>();

Integer lastWriteRowCount = totalRowCount - (writeCount - 1) * pageSize;

for (int j = 0; j < lastWriteRowCount; j++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

}

writer.finish();

}

复制代码

2.3.3.数据量很大(几百万都行):多个SHEET分批查询导出

/**

* 针对几百万的记录数可以调用该方法分多批次查出然后写入到EXCEL的多个SHEET中

* 注意:

* perSheetRowCount % pageSize要能整除  为了简洁,非整除这块不做处理

* 每次查询出来的记录数量不宜过大,根据内存大小设置合理的每次查询记录数,不会内存溢出即可。

* @throws IOException

*/

@Test

public void writeExcelMoreSheetMoreWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream(“E:\temp\withoutHead3.xlsx”);

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET名称

String sheetName = “测试SHEET”;

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“用户ID”));

titles.add(Arrays.asList(“名称”));

titles.add(Arrays.asList(“年龄”));

titles.add(Arrays.asList(“生日”));

table.setHead(titles);

// 模拟分批查询:总记录数250条,每个SHEET存100条,每次查询20条  则生成3个SHEET,前俩个SHEET查询次数为5, 最后一个SHEET查询次数为3 最后一次写的记录数是10

// 注:该版本为了较少数据判断的复杂度,暂时perSheetRowCount要能够整除pageSize, 不去做过多处理  合理分配查询数据量大小不会内存溢出即可。

Integer totalRowCount = 250;

Integer perSheetRowCount = 100;

Integer pageSize = 20;

Integer sheetCount = totalRowCount % perSheetRowCount == 0 ? (totalRowCount / perSheetRowCount) : (totalRowCount / perSheetRowCount + 1);

Integer previousSheetWriteCount = perSheetRowCount / pageSize;

Integer lastSheetWriteCount = totalRowCount % perSheetRowCount == 0 ?

previousSheetWriteCount :

(totalRowCount % perSheetRowCount % pageSize == 0 ? totalRowCount % perSheetRowCount / pageSize : (totalRowCount % perSheetRowCount / pageSize + 1));

for (int i = 0; i < sheetCount; i++) {

// 创建SHEET

Sheet sheet = new Sheet(i, 0);

sheet.setSheetName(sheetName + i);

if (i < sheetCount - 1) {

// 前2个SHEET, 每个SHEET查5次 每次查20条 每个SHEET写满100行  2个SHEET合计200行  实用环境:参数:currentPage: j+1 + previousSheetWriteCount*i, pageSize: pageSize

for (int j = 0; j < previousSheetWriteCount; j++) {

List<List> userList = new ArrayList<>();

for (int k = 0; k < 20; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

} else if (i == sheetCount - 1) {

// 最后一个SHEET 实用环境不需要将最后一次分开,合成一个即可, 参数为:currentPage = i+1;  pageSize = pageSize

for (int j = 0; j < lastSheetWriteCount; j++) {

// 前俩次查询 每次查询20条

if (j < lastSheetWriteCount - 1) {

List<List> userList = new ArrayList<>();

for (int k = 0; k < 20; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

} else if (j == lastSheetWriteCount - 1) {

// 最后一次查询 将剩余的10条查询出来

List<List> userList = new ArrayList<>();

Integer lastWriteRowCount = totalRowCount - (sheetCount - 1) * perSheetRowCount - (lastSheetWriteCount - 1) * pageSize;

for (int k = 0; k < lastWriteRowCount; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明1”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

}

}

}

writer.finish();

}

复制代码

2.4 生产环境

2.4.0.Excel常量类

package com.authorization.privilege.constant;

/**

* @author qjwyss

* @description EXCEL常量类

*/

public class ExcelConstant {

/**

* 每个sheet存储的记录数 100W

*/

public static final Integer PER_SHEET_ROW_COUNT = 1000000;

/**

* 每次向EXCEL写入的记录数(查询每页数据大小) 20W

*/

public static final Integer PER_WRITE_ROW_COUNT = 200000;

}

复制代码

注:为了书写方便,此处俩个必须要整除,可以省去很多不必要的判断。另外如果自己测试,可以改为100,20。

2.4.1.数据量少的(20W以内吧):一个SHEET一次查询导出

@Override

public ResultVO exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {

ServletOutputStream out = null;

try {

out = response.getOutputStream();

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置EXCEL名称

String fileName = new String((“SystemExcel”).getBytes(), “UTF-8”);

// 设置SHEET名称

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“系统列表sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“系统名称”));

titles.add(Arrays.asList(“系统标识”));

titles.add(Arrays.asList(“描述”));

titles.add(Arrays.asList(“状态”));

titles.add(Arrays.asList(“创建人”));

titles.add(Arrays.asList(“创建时间”));

table.setHead(titles);

// 查数据写EXCEL

List<List> dataList = new ArrayList<>();

List sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);

if (!CollectionUtils.isEmpty(sysSystemVOList)) {

sysSystemVOList.forEach(eachSysSystemVO -> {

dataList.add(Arrays.asList(

eachSysSystemVO.getSystemName(),

eachSysSystemVO.getSystemKey(),

eachSysSystemVO.getDescription(),

eachSysSystemVO.getState().toString(),

eachSysSystemVO.getCreateUid(),

eachSysSystemVO.getCreateTime().toString()

));

});

}

writer.write0(dataList, sheet, table);

// 下载EXCEL

response.setHeader(“Content-Disposition”, “attachment;filename=” + new String((fileName).getBytes(“gb2312”), “ISO-8859-1”) + “.xls”);

response.setContentType(“multipart/form-data”);

response.setCharacterEncoding(“utf-8”);

writer.finish();

out.flush();

} finally {

if (out != null) {

try {

out.close();

} catch (Exception e) {

e.printStackTrace();

}

}

}

return ResultVO.getSuccess(“导出系统列表EXCEL成功”);

}

复制代码

2.4.2.数据量适中(100W以内):一个SHEET分批查询导出

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img

文末

我将这三次阿里面试的题目全部分专题整理出来,并附带上详细的答案解析,生成了一份PDF文档

  • 第一个要分享给大家的就是算法和数据结构

网易严选Java开发三面面经:HashMap+JVM+索引+消息队列

  • 第二个就是数据库的高频知识点与性能优化

网易严选Java开发三面面经:HashMap+JVM+索引+消息队列

  • 第三个则是并发编程(72个知识点学习)

网易严选Java开发三面面经:HashMap+JVM+索引+消息队列

  • 最后一个是各大JAVA架构专题的面试点+解析+我的一些学习的书籍资料

网易严选Java开发三面面经:HashMap+JVM+索引+消息队列

还有更多的Redis、MySQL、JVM、Kafka、微服务、Spring全家桶等学习笔记这里就不一一列举出来

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取!
笔记、源码讲义、实战项目、讲解视频,并且会持续更新!**

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img

文末

我将这三次阿里面试的题目全部分专题整理出来,并附带上详细的答案解析,生成了一份PDF文档

  • 第一个要分享给大家的就是算法和数据结构

[外链图片转存中…(img-MRs6Cxd0-1712517587970)]

  • 第二个就是数据库的高频知识点与性能优化

[外链图片转存中…(img-m69qOFfZ-1712517587970)]

  • 第三个则是并发编程(72个知识点学习)

[外链图片转存中…(img-cQvGFayr-1712517587971)]

  • 最后一个是各大JAVA架构专题的面试点+解析+我的一些学习的书籍资料

[外链图片转存中…(img-nP6ZHtNh-1712517587971)]

还有更多的Redis、MySQL、JVM、Kafka、微服务、Spring全家桶等学习笔记这里就不一一列举出来

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值