springboot集成pagehelper以及easyExcel实现百万数据导出

最新推荐文章于 2024-09-28 18:11:53 发布
最新推荐文章于 2024-09-28 18:11:53 发布
阅读量909 收藏 5
点赞数
分类专栏： java 文章标签： spring boot excel 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_59244784/article/details/130086673
版权

1.编写excel常量类

package com.authorization.privilege.constant;
 
/**
 * @author qjwyss
 * @description EXCEL常量类
 */
public class ExcelConstant {
 
    /**
     * 每个sheet存储的记录数 100W
     */
    public static final Integer PER_SHEET_ROW_COUNT = 1000000;
 
    /**
     * 每次向EXCEL写入的记录数(查询每页数据大小) 20W
     */
    public static final Integer PER_WRITE_ROW_COUNT = 200000;
 
}
//注：为了书写方便，此处俩个必须要整除，可以省去很多不必要的判断。 另外如果自己测试，可以改为100,20。

2.根据数据量的不同，我们选择不同的导出方法

  • 数据量少的(20W以内吧)：一个SHEET一次查询导出

@Override
public ResultVO<Void> exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {
 
    ServletOutputStream out = null;
    try {
        out = response.getOutputStream();
        ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);
 
        // 设置EXCEL名称
        String fileName = new String(("SystemExcel").getBytes(), "UTF-8");
 
        // 设置SHEET名称
        Sheet sheet = new Sheet(1, 0);
        sheet.setSheetName("系统列表sheet1");
 
        // 设置标题
        Table table = new Table(1);
        List<List<String>> titles = new ArrayList<List<String>>();
        titles.add(Arrays.asList("系统名称"));
        titles.add(Arrays.asList("系统标识"));
        titles.add(Arrays.asList("描述"));
        titles.add(Arrays.asList("状态"));
        titles.add(Arrays.asList("创建人"));
        titles.add(Arrays.asList("创建时间"));
        table.setHead(titles);
 
        // 查数据写EXCEL
        List<List<String>> dataList = new ArrayList<>();
        List<SysSystemVO> sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);
        if (!CollectionUtils.isEmpty(sysSystemVOList)) {
            sysSystemVOList.forEach(eachSysSystemVO -> {
                dataList.add(Arrays.asList(
                        eachSysSystemVO.getSystemName(),
                        eachSysSystemVO.getSystemKey(),
                        eachSysSystemVO.getDescription(),
                        eachSysSystemVO.getState().toString(),
                        eachSysSystemVO.getCreateUid(),
                        eachSysSystemVO.getCreateTime().toString()
                ));
            });
        }
        writer.write0(dataList, sheet, table);
 
        // 下载EXCEL
        response.setHeader("Content-Disposition", "attachment;filename=" + new String((fileName).getBytes("gb2312"), "ISO-8859-1") + ".xls");
        response.setContentType("multipart/form-data");
        response.setCharacterEncoding("utf-8");
        writer.finish();
        out.flush();
 
    } finally {
        if (out != null) {
            try {
                out.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
 
    return ResultVO.getSuccess("导出系统列表EXCEL成功");
}
  • 数据量适中（100W以内）：一个SHEET分批查询导出
@Override
public ResultVO<Void> exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {
 
    ServletOutputStream out = null;
    try {
        out = response.getOutputStream();
        ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);
 
        // 设置EXCEL名称
        String fileName = new String(("SystemExcel").getBytes(), "UTF-8");
 
        // 设置SHEET名称
        Sheet sheet = new Sheet(1, 0);
        sheet.setSheetName("系统列表sheet1");
 
        // 设置标题
        Table table = new Table(1);
        List<List<String>> titles = new ArrayList<List<String>>();
        titles.add(Arrays.asList("系统名称"));
        titles.add(Arrays.asList("系统标识"));
        titles.add(Arrays.asList("描述"));
        titles.add(Arrays.asList("状态"));
        titles.add(Arrays.asList("创建人"));
        titles.add(Arrays.asList("创建时间"));
        table.setHead(titles);
 
        // 查询总数并 【封装相关变量 这块直接拷贝就行 不要改动】
        Integer totalRowCount = this.sysSystemReadMapper.selectCountSysSystemVOList(sysSystemVO);
        Integer pageSize = ExcelConstant.PER_WRITE_ROW_COUNT;
        Integer writeCount = totalRowCount % pageSize == 0 ? (totalRowCount / pageSize) : (totalRowCount / pageSize + 1);
 
        // 写数据 这个i的最大值直接拷贝就行了 不要改
        for (int i = 0; i < writeCount; i++) {
            List<List<String>> dataList = new ArrayList<>();
 
            // 此处查询并封装数据即可 currentPage, pageSize这个变量封装好的 不要改动
            PageHelper.startPage(i + 1, pageSize);
            List<SysSystemVO> sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);
            if (!CollectionUtils.isEmpty(sysSystemVOList)) {
                sysSystemVOList.forEach(eachSysSystemVO -> {
                    dataList.add(Arrays.asList(
                            eachSysSystemVO.getSystemName(),
                            eachSysSystemVO.getSystemKey(),
                            eachSysSystemVO.getDescription(),
                            eachSysSystemVO.getState().toString(),
                            eachSysSystemVO.getCreateUid(),
                            eachSysSystemVO.getCreateTime().toString()
                    ));
                });
            }
            writer.write0(dataList, sheet, table);
        }
 
        // 下载EXCEL
        response.setHeader("Content-Disposition", "attachment;filename=" + new String((fileName).getBytes("gb2312"), "ISO-8859-1") + ".xls");
        response.setContentType("multipart/form-data");
        response.setCharacterEncoding("utf-8");
        writer.finish();
        out.flush();
 
    } finally {
        if (out != null) {
            try {
                out.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
 
    return ResultVO.getSuccess("导出系统列表EXCEL成功");
}
  •  数据里很大（几百万都行）：多个SHEET分批查询导出 
    @Override
public ResultVO<Void> exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {
 
    ServletOutputStream out = null;
    try {
        out = response.getOutputStream();
        ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);
 
        // 设置EXCEL名称
        String fileName = new String(("SystemExcel").getBytes(), "UTF-8");
 
        // 设置SHEET名称
        String sheetName = "系统列表sheet";
 
        // 设置标题
        Table table = new Table(1);
        List<List<String>> titles = new ArrayList<List<String>>();
        titles.add(Arrays.asList("系统名称"));
        titles.add(Arrays.asList("系统标识"));
        titles.add(Arrays.asList("描述"));
        titles.add(Arrays.asList("状态"));
        titles.add(Arrays.asList("创建人"));
        titles.add(Arrays.asList("创建时间"));
        table.setHead(titles);
 
        // 查询总数并封装相关变量(这块直接拷贝就行了不要改)
        Integer totalRowCount = this.sysSystemReadMapper.selectCountSysSystemVOList(sysSystemVO);
        Integer perSheetRowCount = ExcelConstant.PER_SHEET_ROW_COUNT;
        Integer pageSize = ExcelConstant.PER_WRITE_ROW_COUNT;
        Integer sheetCount = totalRowCount % perSheetRowCount == 0 ? (totalRowCount / perSheetRowCount) : (totalRowCount / perSheetRowCount + 1);
        Integer previousSheetWriteCount = perSheetRowCount / pageSize;
        Integer lastSheetWriteCount = totalRowCount % perSheetRowCount == 0 ?
                previousSheetWriteCount :
                (totalRowCount % perSheetRowCount % pageSize == 0 ? totalRowCount % perSheetRowCount / pageSize : (totalRowCount % perSheetRowCount / pageSize + 1));
 
 
        for (int i = 0; i < sheetCount; i++) {
 
            // 创建SHEET
            Sheet sheet = new Sheet(i, 0);
            sheet.setSheetName(sheetName + i);
 
            // 写数据 这个j的最大值判断直接拷贝就行了，不要改动
            for (int j = 0; j < (i != sheetCount - 1 ? previousSheetWriteCount : lastSheetWriteCount); j++) {
                List<List<String>> dataList = new ArrayList<>();
 
                // 此处查询并封装数据即可 currentPage, pageSize这俩个变量封装好的 不要改动
                PageHelper.startPage(j + 1 + previousSheetWriteCount * i, pageSize);
                List<SysSystemVO> sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);
                if (!CollectionUtils.isEmpty(sysSystemVOList)) {
                    sysSystemVOList.forEach(eachSysSystemVO -> {
                        dataList.add(Arrays.asList(
                                eachSysSystemVO.getSystemName(),
                                eachSysSystemVO.getSystemKey(),
                                eachSysSystemVO.getDescription(),
                                eachSysSystemVO.getState().toString(),
                                eachSysSystemVO.getCreateUid(),
                                eachSysSystemVO.getCreateTime().toString()
                        ));
                    });
                }
                writer.write0(dataList, sheet, table);
            }
        }
 
        // 下载EXCEL
        response.setHeader("Content-Disposition", "attachment;filename=" + new String((fileName).getBytes("gb2312"), "ISO-8859-1") + ".xls");
        response.setContentType("multipart/form-data");
        response.setCharacterEncoding("utf-8");
        writer.finish();
        out.flush();
 
    } finally {
        if (out != null) {
            try {
                out.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
 
    return ResultVO.getSuccess("导出系统列表EXCEL成功");
}

总结：

少执行sql，优化分页速度，才能更快的导出文件

Springboot学习之用EasyExcel4导入导出数据入门（三十八）
易雪寒的博客
07-02 456
今天的内容到此结束，欢迎大家留言交流，我们一起进步学习。
EasyExcel百万数据导入导出
idooy的学习笔记
01-09 2667
开发中，导入导出功能对于后台管理这样的系统来说太常用了，除了实现该功能外导入导出的性能也需要开发人员进行充分的考虑。个别系统导入导出业务复杂，出现问题的地方就不局限于上面的这几个点，开发中如果是优化的话，那也无法抛开复杂的业务场景而单纯的去讨论导入导出的功能。曾经就亲身经历过业务员导入7W条数据跑好几个小时，同步导出10W条数据接口超时。如果没有业务逻辑从中作梗；单纯的导入和导出10W条数据还是很轻松的。总之，导出导入功能如果追求效率，就需要往多线程上靠；必要的话，还需要进行异步操作。
EasyExcel导出大数据文件（100万条）_easyexcel导出百万数据
2301_76379606的博客
04-29 912
System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“总耗时：” + (t2 - t1) / 1000D);
Spring Boot使用Easy Excel导出百万级数据
马先生的博客
11-07 1568
Easy Excel导出百万数据。
EasyExcel实现百万数据批量导出
Mr_Richard的博客
09-28 884
当数据量比较大时，例如数据量达到百万级，传统的一次读取到内存中在写入excel文件的方法便不再适用了，可能会导致内存溢出；而且一次性将数据写入一张sheet工作表也不太好。但我们可以选择数据分片的方式批量写入多个工作表。测试数据100w条，写入到Excel表中，分成5个sheet表，每个sheet表20w条。
EasyExcel导出大数据文件（100万条）_easyexcel导出百万数据(1)
2301_79988566的博客
04-29 1054
System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“总耗时：” + (t2 - t1) / 1000D);
EasyExcel快速导出 100W 数据
weixin_42023748的博客
01-09 3588
遂抛弃自己封装的，转战研究阿里开源的EasyExcel. 不过 说实话，当时自己封装的那个还是有些技术含量的，例如：外观模式，模板方法模式，以及委托思想，组合思想，可以看看。不过一是存在封装不太友好使用不方便的问题，二是这些poi的操作方式仍然存在内存占用过大的问题,三是存在空循环和整除的时候数据有缺陷的问题，以及存在内存溢出的隐患。造的假数据，100W条记录，18个字段，测试导出是70s。在实际上产环境使用的时候，具体的还是要看自己写的sql的性能。sql性能快的话，会很快。
SpringBoot使用EasyExcel批量导出500万数据
weixin_48040732的博客
07-04 3758
SpringBoot使用EasyExcel批量导出500万数据
springboot整合easyexcel实现excel文件上传解析，下载导出简单实例.zip
11-10
best20182022-10-17 14:55:20原证springboot整合easyexcel实现excel文件上传解析，下载导出简单实例 项目描述 springboot整合easyexcel，上传解析Excel，下载导出Excel 运行环境 jdk8+tomcat9+IntelliJ IDEA+...
springboot easyexcel实现数据导出成excel表格功能
10-26
Java使用springboot、easyexcel实现数据导出成excel表格功能，适用于刚入门的Java程序员或想提高知识面的朋友，该功能常用于项目数据导出，此demo通俗易懂，可以简单修改后在项目中直接使用。
SpringBoot集成easyexcel数据导出案例源码，解决多sheet页、字典、自适应样式等常见问题
最新发布
10-25
内容概要：SpringBoot集成easyexcel数据导出源码案例，自定义注解解决字典转化、自适应列宽、左右上下居中样式等常见问题 适合人群：具备一定编程基础，熟悉springboot的常见使用方法和配置 能学到什么： 1. 养成...
easyExcel实现大数据导出
11-13
阿里巴巴easyExcel实现大数据导出！！
使用EasyExcel导出百万条数据
aaaaaaaaattt的博客
01-05 1451
将 list 数据进行分页读取，并进行分页写入到 excel。这样还有个好处，每次每页读取部分数据，然后写入到 excel 中（相当于该批数据已经从内存刷到了磁盘），也增加了写入的效率；poi 中的导出excel，为此专门提供了一个刷新磁盘的 api，具体代码如下。将 list 数据进行分页读取，并且每个 sheet 分多次写入，且写入到多个 sheet 中。应用是基于100W条数据进行的测试。
easyExcel导出百万级数据，亲测实用
java程序员的蜕变之路
11-09 416
ExcelProperty(value = "单位") 导出字段名设置。@ExcelIgnore 忽略不用导出。controller层，带分页的。pom.xml添加配置。实体类DemoNew。
springboot使用EasyExcel实现excel导出千万大数据量
不积跬步，无以至千里；不积小流，无以成江海。
04-25 1877
EasyExcel是一个基于Java的、快速、简洁、解决大文件内存溢出的Excel处理工具。他能让你在不用考虑性能、内存的等因素的情况下，快速完成Excel的读、写等功能。Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。
利用EasyExcel导出正常导出数据和导出百万数据，便于以后抄袭
竹林幽深
12-21 344
2022年12月23日 18:02332浏览 · 2喜欢 · 0评论粉丝：63文章：6关注。
还在用 POI？试试 EasyExcel，轻松导出 100W 数据
F1520080的博客
04-13 1114
titles.add(Arrays.asList(“名称”));titles.add(Arrays.asList(“年龄”));titles.add(Arrays.asList(“生日”));// 模拟分批查询：总记录数250条，每个SHEET存100条，每次查询20条 则生成3个SHEET，前俩个SHEET查询次数为5， 最后一个SHEET查询次数为3 最后一次写的记录数是10。
SpringBoot+EasyExcel轻松实现百万级数据导入导出
weixin_41590358的博客
08-17 299
一、前言EasyExcel是阿里开源的一款 Excel导入导出工具，具有处理速度快、占用内存小、使用方便的特点，底层逻辑也是基于 apache poi 进行二次开发的，目前的应用也是非常广！相比 EasyPoi，EasyExcel 的处理数据性能非常高，读取 75M (46W行25列) 的Excel，仅需使用 64M 内存...
使用EasyExcel实现excel导出，支持百万大数据量导出-----超简单
热门推荐
MCP的博客
02-10 1万+
超简单的EasyExcel实现excel导出，支持百万大数据量导出,通过设置sheet数量，完成分批导出，每个sheet存100万数据，每次查询插入20万数据，避免超时，内存溢出等问题，可以根据服务器配置调整参数设置。
springboot集成阿里的easyExcel
07-27
要在Spring Boot项目中集成阿里的EasyExcel库，你需要添加相应的依赖项，并编写代码来使用EasyExcel来读写Excel文件。 首先，在你的项目的构建文件（如Maven或Gradle）中添加EasyExcel的依赖项。 如果你使用Maven...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

EntyIU

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值