EasyExcel处理大数据量分段导出

于 2024-07-29 11:08:51 发布
阅读量87 收藏 2
点赞数 3
分类专栏： 工具类 Java SpringBoot 文章标签： java intellij-idea 后端 大数据量导出优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34033209/article/details/140765826
版权
SpringBoot 同时被 3 个专栏收录
6 篇文章 0 订阅
订阅专栏
工具类
3 篇文章 0 订阅
订阅专栏
Java
2 篇文章 0 订阅
订阅专栏

1.场景说明

在实际生产场景中会存在同时有多人操作巨量数据导出，如果是采取的先把所有符合筛选条件的数据查询出来，再挨个写入Excel的方式，可能会产生CPU飙高到100%，内存被占满，系统罢工的情况，因此需要采用其他方案解决此问题。本人采取的方案是分段导出策略，假设一共50万数据需要导出，每查询到1000条数据就写入Excel，直到查询完50万数据并写入Excel为止。需要注意的是，生成的File文件及其他对象需要及时释放内存，以给其他操作的人腾出空间。

3.基本实现

3.1添加依赖

     <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>easyexcel</artifactId>
        <version>3.1.1</version>
     </dependency>

3.2 代码示例

package com.jdq.mall.util;

import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.enums.CellDataTypeEnum;
import com.alibaba.excel.metadata.Head;
import com.alibaba.excel.metadata.data.CellData;
import com.alibaba.excel.metadata.data.WriteCellData;
import com.alibaba.excel.write.metadata.WriteSheet;
import com.alibaba.excel.write.metadata.holder.WriteSheetHolder;
import com.alibaba.excel.write.metadata.style.WriteCellStyle;
import com.alibaba.excel.write.metadata.style.WriteFont;
import com.alibaba.excel.write.style.HorizontalCellStyleStrategy;
import com.alibaba.excel.write.style.column.AbstractColumnWidthStyleStrategy;
import com.baomidou.mybatisplus.core.toolkit.CollectionUtils;
import lombok.Data;
import org.apache.poi.ss.usermodel.*;

import java.util.*;

/**
 * 分段导出
 */
public class BatchExportEasyExcelUtil {

    public static void batchExportToExcel() {
        int pageNum = 1;
        int pageSize = 10;
        //文件名 
        String fileName = "D:\\Users\\SuperMan\\Desktop\\test\\user.xlsx";
        //1、模拟数据
        List<Map> data = simulatedData();
        //计算模拟数据的总页数
        int pageTotal = (data.size() % pageSize) > 0 ? (data.size() / pageSize) + 1 : (data.size() / pageSize);
        ExcelWriter excelWriter = null;
        // 2、定义动态表头
        List<List<String>> headList = new ArrayList<>();//字段中文说明
        //List<String> headCodeList = new ArrayList<>();//字段编码
        //配置：在实际项目中，可以是枚举类，可以是数据库表里的数据，或者其他数据来源
        Map<String, String> fieldMap = new HashMap<>();
        fieldMap.put("idCard", "身份证号码");
        fieldMap.put("id", "主键");
        fieldMap.put("name", "姓名");
        fieldMap.put("address", "所在地址");
        List<String> finalFieldList = new ArrayList<>(fieldMap.keySet());
        //中文表头
        for (String field : finalFieldList) {
            headList.add(Arrays.asList(fieldMap.get(field)));
            //headCodeList.add(field);
        }
        try {
            //3、设置样式
            excelWriter = EasyExcel.write(fileName, Map.class).build();
            //3.1 表头样式
            WriteCellStyle headStyle = new WriteCellStyle();
            WriteFont font = new WriteFont();
            font.setFontHeightInPoints((short) 12); // 设置字体大小为12
            font.setBold(false);
            headStyle.setHorizontalAlignment(HorizontalAlignment.CENTER);
            headStyle.setVerticalAlignment(VerticalAlignment.CENTER);
            headStyle.setWriteFont(font);
            headStyle.setFillForegroundColor(IndexedColors.WHITE.getIndex());
            //3.2 单元格内容样式
            WriteCellStyle contentStyle = new WriteCellStyle();
            WriteFont font2 = new WriteFont();
            font2.setBold(false);
            font2.setFontHeightInPoints((short) 11); // 设置字体大小为11
            contentStyle.setWriteFont(font2);
            contentStyle.setHorizontalAlignment(HorizontalAlignment.CENTER);
            contentStyle.setVerticalAlignment(VerticalAlignment.CENTER);
            //4、创建工作表，表头和列表是自适应的。
            WriteSheet writeSheet = EasyExcel
                    .writerSheet("用户信息")
                    .head(headList)
                    .registerWriteHandler(new HorizontalCellStyleStrategy(headStyle, contentStyle))
                    .registerWriteHandler(new CustomCellWriteWidthConfig()) /*自适应列宽*/
                    .build();
            long startTime = System.currentTimeMillis();
            while (true) {
                System.out.println("数据导出开始，第" + pageNum + "页,总页数：" + pageTotal);
                // 5、模拟分页查询方法
                List<Map> pageDataList = queryUsersByPage(pageNum, pageSize, data);
                if (pageDataList == null || pageDataList.isEmpty()) {
                    // 查询结果为空时，终止循环
                    System.out.println("查询结果为空，终止循环，总用时：" + (System.currentTimeMillis() - startTime) / 1000 + "秒");
                    break;
                }
                //6、处理分页查询的数据，将获取的数据集处理成与Excel单元格表头匹配的数据。
                //即：单元格表头只有一行，而数据有多行，将数据集中的每条数据转换为与单元格表头匹配的单行数据
                List<List<Object>> dataList = new ArrayList<>();
                for (Map map : pageDataList) {
                    List<Object> rowDatas = new ArrayList<>();
                    for (String field : finalFieldList) {
                        String value = "";
                        if (Objects.nonNull(map.get(field))) {
                            value = String.valueOf(map.get(field));
                        }
                        rowDatas.add(value);
                    }
                    dataList.add(rowDatas);
                }
                excelWriter.write(dataList, writeSheet);
                // 记录日志：准备查询下一页
                System.out.println("第" + pageNum + "页数据写入完成,总页数：" + pageTotal);
                pageNum++;
            }
            //return new File(fileName);
        } finally {
            if (excelWriter != null) {
                // 关闭Writer释放资源
                excelWriter.finish();
            }
        }
    }

    /**
     * 模拟数据（DB存储）
     */
    private static List<Map> simulatedData() {
        List<Map> data = new ArrayList<>();
        for (int i = 1; i <= 100000; i++) {
            Map userMap = new HashMap();
            userMap.put("id", i);
            userMap.put("name", "姓名" + i);
            userMap.put("address", "所在地址所在地址所在地址" + i);
            data.add(userMap);
        }
        return data;
    }

    /**
     * 模拟分页查询
     *
     * @param pageNum  页码
     * @param pageSize 页大小
     * @param data     数据
     */
    private static List<Map> queryUsersByPage(int pageNum, int pageSize, List<Map> data) {
        // 分页查询逻辑实现，此处以伪代码表示
        List<List<Map>> lists = splitList(data, pageSize);
        if (lists.size() < pageNum) {
            return null;
        }
        // 返回查询结果
        return lists.get(pageNum - 1);
    }

    public static <T> List<List<T>> splitList(List<T> alllist, int groupSize) {
        int length = alllist.size();
        // 计算可以分成多少组
        int num = (length + groupSize - 1) / groupSize;
        List<List<T>> newList = new ArrayList(num);
        for (int i = 0; i < num; i++) {
            // 开始位置
            int fromIndex = i * groupSize;
            // 结束位置
            int toIndex = (i + 1) * groupSize < length ? (i + 1) * groupSize : length;
            newList.add(alllist.subList(fromIndex, toIndex));
        }
        return newList;
    }

    public static void main(String[] args) {
        batchExportToExcel();
    }

}

@Data
class DataModel {
    //    @ExcelProperty("用户ID")
    //    @ColumnWidth(15) // 设置列宽为15字符宽度
    //    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40) // 设置头部样式，比如背景颜色
    //    @ContentStyle(horizontalAlignment = HorizontalAlignmentEnum.CENTER, verticalAlignment = VerticalAlignmentEnum.CENTER)
    //    @HeadFontStyle(bold = BooleanEnum.TRUE, fontHeightInPoints = 12) // 设置头部字体样式
    private int id;

    //    @ExcelProperty("姓名")
    //    @ColumnWidth(15) // 设置列宽为15字符宽度
    //    @ContentStyle(horizontalAlignment = HorizontalAlignmentEnum.CENTER, verticalAlignment = VerticalAlignmentEnum.CENTER)
    //    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40) // 设置头部样式，比如背景颜色
    //    @HeadFontStyle(bold = BooleanEnum.TRUE, fontHeightInPoints = 12) // 设置头部字体样式
    private String name;

    //    @ExcelProperty("身份证")
    //    @ColumnWidth(35) // 设置列宽为15字符宽度
    //    @ContentStyle(horizontalAlignment = HorizontalAlignmentEnum.CENTER, verticalAlignment = VerticalAlignmentEnum.CENTER)
    //    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40) // 设置头部样式，比如背景颜色
    //    @HeadFontStyle(bold = BooleanEnum.TRUE, fontHeightInPoints = 12) // 设置头部字体样式
    //    private String idCard;

    //    @ExcelProperty("地址")
    //    @ColumnWidth(50) // 设置列宽为15字符宽度
    //    @ContentStyle(horizontalAlignment = HorizontalAlignmentEnum.CENTER, verticalAlignment = VerticalAlignmentEnum.CENTER)
    //    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40) // 设置头部样式，比如背景颜色
    //    @HeadFontStyle(bold = BooleanEnum.TRUE, fontHeightInPoints = 12) // 设置头部字体样式
    private String address;
}

/**
 * 自适应列宽计算策略
 */
class CustomCellWriteWidthConfig extends AbstractColumnWidthStyleStrategy {
    /**
     * 工作表缓存
     */
    private final Map<Integer, Map<Integer, Integer>> CACHE = new HashMap<>();

    @Override
    protected void setColumnWidth(WriteSheetHolder writeSheetHolder, List<WriteCellData<?>> cellDataList, Cell cell, Head head, Integer integer, Boolean isHead) {
        //若表头、数据不为空，则需要计算列宽
        boolean needSetWidth = isHead || !CollectionUtils.isEmpty(cellDataList);
        if (needSetWidth) {
            //每个页签缓存最大的
            Map<Integer, Integer> maxColumnWidthMap = CACHE.computeIfAbsent(writeSheetHolder.getSheetNo(), k -> new HashMap<>());
            Integer columnWidth = this.dataLength(cellDataList, cell, isHead);
            // 单元格文本长度大于60换行
            if (columnWidth >= 0) {
                if (columnWidth > 60) {
                    columnWidth = 60;
                }
                Integer maxColumnWidth = maxColumnWidthMap.get(cell.getColumnIndex());
                //1.首次计算列宽
                //2.当前计算列宽大于缓存的列宽，及时更新最大列宽，并设置到工作表中
                if (maxColumnWidth == null || columnWidth > maxColumnWidth) {
                    maxColumnWidthMap.put(cell.getColumnIndex(), columnWidth);
                    Sheet sheet = writeSheetHolder.getSheet();
                    sheet.setColumnWidth(cell.getColumnIndex(), columnWidth * 256);
                }
            }
        }
    }

    /**
     * 计算数据长度
     *
     * @param cellDataList 数据源
     * @param cell         单元格
     * @param isHead       是否是表头
     */
    private Integer dataLength(List<WriteCellData<?>> cellDataList, Cell cell, Boolean isHead) {
        if (isHead) {
            return cell.getStringCellValue().getBytes().length;
        } else {
            CellData<?> cellData = cellDataList.get(0);
            CellDataTypeEnum type = cellData.getType();
            if (type == null) {
                return -1;
            } else {
                switch (type) {
                    case STRING:
                        // 换行符（数据需要提前解析好）
                        int index = cellData.getStringValue().indexOf("\n");
                        return index != -1 ?
                                cellData.getStringValue().substring(0, index).getBytes().length + 1 : cellData.getStringValue().getBytes().length + 1;
                    case BOOLEAN:
                        return cellData.getBooleanValue().toString().getBytes().length;
                    case NUMBER:
                        return cellData.getNumberValue().toString().getBytes().length;
                    default:
                        return -1;
                }
            }
        }
    }
}
菜鸡一个，多多指教
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
EasyExcel导出之数据合并单元格
zaiyeqianhe的博客
04-01 1744
背景： 使用POI做导出没有问题，样式也OK，也能导出，但是，数据量过大的时候，会内存溢出，于是使用EasyExcel导出避免内存溢出。 EasyExcel也可用于普通导出。 一.先说创建的样式 二.创建结果Bean，为对应的表头 @Data @ColumnWidth(15) //设置标题长度 public class ExcelRespose implements Serializable { private static final long serialVersionUID
Springboot使用EasyExcel读取大量数据并且将得到的数据分批插入到数据库中
qq_37135460的博客
11-25 3608
Springboot使用EasyExcel读取大量数据并且将得到的数据分批插入到数据库中一、导入pom文件并编写相关的实体类以及监听器功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 一、导入pom文件并编写相关的实体类以及监听器
EasyExcel导出大量数据
08-25 3348
1：EasyExcel导出数据 2：查询时分sheet页查询写入 3：自定义导出格式 1：pom文件： <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.2.6</version> </dependency> 2：EasyExcelDataUti
easyexcel 数据量过大问题
天涯君落
06-04 3898
java总的生成excel工具 poi太费事了，于是就是用来 阿里提供的 easyexcel 很简单， 具体使用方式参考： https://zhuanlan.zhihu.com/p/88720415?utm_source=wechat_timeline
EasyExcel针对比较大的数据量合并策略
caicaizhangwei的博客
03-22 3855
使用EasyExcel合并单元格，非常耗费资源，目前想到的优化思路有三点： 1.在合并的时候，先确定哪些单元格要合并，获取需要合并的单元格索引 2.使用addMergedRegionUnsafe（CellRangeAddress region）方法，这里的不安全主要是少了两部分校验： 2.1.校验单元格是否有公式引用； 2.2.校验是否与已合并区域合并； 3.private int addMergedRegion(CellRangeAddress
POI百万级大数据量EXCEL导出
yangjundx的博客
02-03 1852
一. 简介 excel导出，如果数据量在百万级，会出现俩点内存溢出的问题： 1. 查询数据量过大，导致内存溢出。 该问题可以通过分批查询来解决； 2. 最后下载的时候大EXCEL转换的输出流内存溢出；该方式可以通过新版的SXSSFWorkbook来解决，可通过其构造函数执指定在内存中缓存的行数，剩余的会自动缓存在硬盘的临时目录上，同时，并不会存在页面卡顿的情况； 3. 为了能够使用不同的mapper并分批写数据, 采用了外观模式和模板方法模式，大体分三步：
easyexcel分批次导出excel文件
无名
04-23 2295
每次循环根据当前sheet的起始位置和结束位置获取需要导出的数据列表，然后使用writer将数据写入sheet中。上述代码中，使用了easyexcel提供的注解@ExcelProperty，用于描述导出数据的字段名和对应Excel的列索引（从0开始），可以根据具体情况进行修改。以上就是使用easyexcel的注解方式实现分批次导出1000万条数据的步骤，具体实现可以根据需要进行修改。上述代码中，根据起始位置和结束位置循环生成1000万条数据，然后封装成User对象的列表返回。
Java导出Excel百万条数据表格数据实现分页easyexcel方法和Apach POI方法
beiback的博客
03-17 4335
百万条数据导出excel 分页写入
poi导出大量数据excel内存溢出解决方案
风的专栏
04-03 1844
Excel2003版最大行数是65536行。Excel2007开始的版本最大行数是1048576行。Excel2003的最大列数是256列，2007以上版本是16384列。 poi导出excel，不使用模板的http://happyqing.iteye.com/blog/2075985 xls格式导出使用HSSFWorkbook，（这个暂时没有好办法） xlsx格式导出以前使用XSSFWorkbo...
使用阿里巴巴的EasyExcel库将数据和图片导出到一个Excel文件
05-07
它展示了如何使用EasyExcel库来处理复杂的Excel文件导出任务，包括自定义列宽和图片布局。可以参考博客链接 https://blog.csdn.net/xiaosemei/article/details/127671561 有具体的效果，及代码实例
EasyExcel百万数据量导入/导出源码
02-07
EasyExcel是阿里巴巴开源的一个轻量级Java库，专为处理Excel数据而设计，尤其擅长处理大规模数据的导入和导出。本篇文章将深入探讨EasyExcel如何实现百万级别的数据高效导入和导出，以及它在实际业务中的应用。 ...
easyExcel实现大数据导出
11-13
`easyExcel`是专门为处理大量数据设计的一个轻量级工具，它能够有效地解决内存溢出问题，特别适合大数据量的Excel读写操作。下面将详细阐述`easyExcel`的核心功能、使用方法以及如何实现大数据导出。 `easyExcel`的...
多个excel导出压缩成zip 文件 数据量大导出
02-23
在IT行业中，大数据量的处理是一项常见的挑战，尤其是在数据导出和存储方面。"多个Excel导出压缩成zip文件"的场景通常是为了解决数据量过大导致的文件管理不便、传输效率低以及存储空间占用过多等问题。下面我们将...
EasyExcel导出.txt
11-04
EasyExcel 导出，含动态表头导出
golang 接口
m0_70982551的博客
07-24 923
接口定义了一组方法，这些方法没有具体的实现。接口类型的变量可以存储任何实现了这些方法的类型的值。// 更多方法...在Go语言中，接口值是指存储了实现某个接口的具体类型值的变量。接口值由两部分组成：1.动态类型：这是接口值当前存储的实际类型。2.动态值：这是实际存储的值，该值必须实现了接口中定义的所有方法。
Swagger使用Map接受参数时，页面如何显示具体参数及说
a1058926697的博客
07-26 498
后端使用Map接受参数，要求在swagger页面上显示具体的参数名称、类型及说明。当Map接受参数数量少时，可以使用Swagger自带的注解。自定义注解 @ApiGlobalModel。编写处理注解对应的插件。
springboot之自动装配
weixin_50153914的博客
07-23 611
Spring Boot 通过一系列注解和条件配置实现了自动装配机制，使得开发者无需手动配置大量的 XML 文件或 Java 配置类。自动配置机制利用文件中的自动配置类，并结合条件注解和组件扫描，实现了灵活且强大的自动装配功能。这样，开发者可以专注于业务逻辑的实现，而无需处理繁琐的配置细节。
Java的@DateTimeFormat注解与@JsonFormat注解的使用对比
最新发布
訾博（ZiBo）的博客
07-27 579
在Spring和Jackson框架中，日期和时间格式化是一个常见需求。注解主要用于Spring的表单绑定，而注解则用于Jackson的JSON序列化和反序列化。了解这两个注解的使用场景和方法，可以帮助开发者更高效地处理日期和时间。和是处理日期和时间格式化的两个重要注解。主要用于Spring MVC的请求参数绑定，而主要用于Jackson的JSON序列化和反序列化。了解它们的使用场景和功能，可以帮助开发者更高效地处理日期和时间格式化需求。通过本文的介绍，希望读者能够更清晰地理解和。
easyexcel大数据量导出
05-09
随着大数据时代的到来，数据的重要性越来越被人们所重视，而数据的收集和分析工作也变得越来越复杂。而在这个过程中，很多时候我们需要根据特定的需求对数据进行导出和整理。此时，EasyExcel便可以提供便捷高效的大数据量导出工作。 EasyExcel是一个轻量级的Java读写Excel的开源项目。它不依赖于任何第三方库，具有快速高效、易上手、支持多种数据源、高容错性等特点。同时，EasyExcel也提供了多种导出模式，支持普通数据、嵌套表头、合并单元格以及自定义样式等多种形式的导出。 若要在数据量较大的情况下进行导出，EasyExcel还提供了分批次导出的功能，可以让用户利用有限的内存来处理海量的数据。并且通过配置Sheet的大小和每次读取数据的数量等参数，可以进一步提高导出效率。此外，EasyExcel也支持多线程并发导出，进一步提升了导出效率。 总的来说，EasyExcel在大数据量导出方面有着显著的优势，可以为用户提供高效便捷的数据导出工作。无论是个人用户还是企业用户，都可以通过使用EasyExcel来简化导出过程，提高工作效率，并且将更多时间和精力用于数据分析和应用，为业务决策和产生价值提供更加有力的支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值