【EasyExcel】入门学习及快速上手实践复盘

已于 2023-06-08 10:00:49 修改
阅读量227 收藏
点赞数
文章标签： java
于 2023-06-07 17:35:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44174678/article/details/131091923
版权
本文介绍了如何使用EasyExcel进行Excel数据的读取，包括定义数据结构、使用监听器处理数据，特别是针对动态表头的情况。文中提到了两种解决方案来限制读取行数，一种是通过抛出异常中断，另一种是记录总行数。此外，还展示了如何在读取过程中进行数据处理并追加写入到新文件中。
摘要由CSDN通过智能技术生成

官方文档：https://easyexcel.opensource.alibaba.com/docs/current/

从Excel读入数据

最简单的读在这里不再赘述，参考文章最上方的官方文档（全中文的，里面已经写得很通俗易懂了）。这里只大致讲一下主要步骤：
1.定义接收数据的对象结构；
2.定义处理数据的监听器，其中包含每批数据解析完的清理机制和储存机制。拿官方文档的demo来举例：

  	/**
     * 每隔5条存储数据库，实际使用中可以100条，然后清理list ，方便内存回收
     */
    private static final int BATCH_COUNT = 100;
 	/**
     * 缓存的数据
     */
    private List<DemoData> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
    
 	@Override
    public void invoke(DemoData data, AnalysisContext context) {
        log.info("解析到一条数据:{}", JSON.toJSONString(data));
        cachedDataList.add(data);
        // 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
        if (cachedDataList.size() >= BATCH_COUNT) {
            saveData();
            // 存储完成清理 list
            cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
        }
    }

监听器里定义了BATCH_COUNT，每行解析出来的数据都会放入cachedDataList 中，cachedDataList 达到BATCH_COUNT会先存储这部分数据，然后将cachedDataList清掉。这样保证读是一批一批落库的，不会一下读大量数据OOM。

动态读

编码过程中遇到的实际情况是用户输入的excel是动态表头，我们无法使用特定的对象去接收数据，只能用最基础的Map去接收。参考官方文档中不创建对象的读。

private List<Map<Integer, String>> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);

用来接收数据的结构是List<Map<Integer, String>>，其中Map<Integer, String>>是每一行的数据，map的key是列序号，从0开始，value是此行此列单元格的值。

只解析部分数据

解决方案1：
参考了https://blog.csdn.net/u012751272/article/details/126298071的解决方案，感谢大佬。
思路就是解析完需要的数据后用抛出异常来中断后续解析流程，外层捕获异常即可，不影响解析功能，且能大幅提高性能。比如需求只需解析出20行示例数据，程序只需解析完这20行即可返回，无需等待整个表所有数据解析完。

解决方案2：
如果需求要求的是解析示例数据同时返回用户输入的excel的总行数，那就不能采用抛出异常中断流程的方法。代码（已脱敏）如下：

public class ParsePartExcelListener extends AnalysisEventListener<Map<Integer, String>> {

    private List<Map<Integer, String>> dataList = new ArrayList<>();
    private List<Map<Integer, String>> headList = new ArrayList<>();
    //需要解析的行数
    private Integer limitSize;
    //总行数
    private Integer rowCount = 0;

    private int BATCH_SIZE = 100;


    public ParsePartExcelListener(int limitSize) {
        this.limitSize = limitSize;
    }

    @Override
    public void invokeHeadMap(Map<Integer, String> headMap, AnalysisContext context) {
        headList.add(headMap);
    }

    @Override
    public void invoke(Map<Integer, String> data, AnalysisContext analysisContext) {
        if (!(Objects.nonNull(limitSize) && rowCount >= limitSize)) {
            dataList.add(data);
        }
        rowCount++;

        // 达到BATCH_COUNT了，需要去清一次数据，防止数据几万条数据在内存，容易OOM
        if (dataList.size() >= BATCH_SIZE) {

            // 存储完成清理 list
            dataList.clear();
        }
    }

    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        log.info("所有数据解析完成！");
    }
 }

每批解析出的数据复杂处理

和demo中的存储逻辑一样，在解析完一批次数据之后，统一对这一批数据进行处理，然后清除。

public class ParseExcelListener extends AnalysisEventListener<Map<Integer, String>> {

    private Map<Integer, Map<Integer, String>> dataMap = Maps.newHashMap();
    private List<Map<Integer, String>> headList = new ArrayList<>();
    private ExcelDataHandler<Map<Integer, String>> dataHandler;
    private int rowId = 1;


    public ParseExcelListener(ExcelDataHandler<Map<Integer, String>> dataHandler) {
        this.dataHandler = dataHandler;
    }

    @Override
    public void invokeHeadMap(Map<Integer, String> headMap, AnalysisContext context) {
        headList.add(headMap);
    }

    @Override
    public void invoke(Map<Integer, String> integerStringMap, AnalysisContext analysisContext) {
        dataMap.put(rowId, integerStringMap);
        rowId++;

        // 达到BATCH_COUNT了，需要去清一次数据，防止数据几万条数据在内存，容易OOM
        if (dataMap.size() >= dataHandler.getHandlerBatch()) {

            dataHandler.actuator(dataMap, headList);
            // 存储完成清理 list
            dataMap.clear();
        }
    }

    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        log.info("所有数据解析完成！");
        dataHandler.actuator(dataMap, headList);
    }

}


 		ParseExcelListener parseExcelListener = new ParseExcelListener(new ExcelDataHandler<Map<Integer, String>>() {
            /**
             * @Param: Map<行号, Map < 列号, 单元格内容>>
             */
            @Override
            public void actuator(Map<Integer, Map<Integer, String>> dataMap, List<Map<Integer, String>> headList) {
               //数据处理
            }
        });
        try {
            EasyExcelFactory.read(inputStream).registerReadListener(parseExcelListener).headRowNumber(1).sheet().doRead();
        } catch (Exception e) {
            log.warn("解析数据异常，文件url：{},错误原因：{}", importContext.getImportsRecord().getOriginUrl(), e);
            throw e;
        }

边读边写，如何追加写入

读是分批读，每一批有一个批量处理数据的方法，可以在批量处理数据时将读取到的数据处理后写入新文件中。
先看demo:

    /**
     * 重复多次写入
     * <p>
     * 1. 创建excel对应的实体对象 参照{@link ComplexHeadData}
     * <p>
     * 2. 使用{@link ExcelProperty}注解指定复杂的头
     * <p>
     * 3. 直接调用二次写入即可
     */
    @Test
    public void repeatedWrite() {
        // 方法1: 如果写到同一个sheet
        String fileName = TestFileUtil.getPath() + "repeatedWrite" + System.currentTimeMillis() + ".xlsx";
        // 这里 需要指定写用哪个class去写
        try (ExcelWriter excelWriter = EasyExcel.write(fileName, DemoData.class).build()) {
            // 这里注意 如果同一个sheet只要创建一次
            WriteSheet writeSheet = EasyExcel.writerSheet("模板").build();
            // 去调用写入,这里我调用了五次，实际使用时根据数据库分页的总的页数来
            for (int i = 0; i < 5; i++) {
                // 分页去数据库查询数据 这里可以去数据库查询每一页的数据
                List<DemoData> data = data();
                excelWriter.write(data, writeSheet);
            }
        }

        // 方法2: 如果写到不同的sheet 同一个对象
        fileName = TestFileUtil.getPath() + "repeatedWrite" + System.currentTimeMillis() + ".xlsx";
        // 这里 指定文件
        try (ExcelWriter excelWriter = EasyExcel.write(fileName, DemoData.class).build()) {
            // 去调用写入,这里我调用了五次，实际使用时根据数据库分页的总的页数来。这里最终会写到5个sheet里面
            for (int i = 0; i < 5; i++) {
                // 每次都要创建writeSheet 这里注意必须指定sheetNo 而且sheetName必须不一样
                WriteSheet writeSheet = EasyExcel.writerSheet(i, "模板" + i).build();
                // 分页去数据库查询数据 这里可以去数据库查询每一页的数据
                List<DemoData> data = data();
                excelWriter.write(data, writeSheet);
            }
        }

        // 方法3 如果写到不同的sheet 不同的对象
        fileName = TestFileUtil.getPath() + "repeatedWrite" + System.currentTimeMillis() + ".xlsx";
        // 这里 指定文件
        try (ExcelWriter excelWriter = EasyExcel.write(fileName).build()) {
            // 去调用写入,这里我调用了五次，实际使用时根据数据库分页的总的页数来。这里最终会写到5个sheet里面
            for (int i = 0; i < 5; i++) {
                // 每次都要创建writeSheet 这里注意必须指定sheetNo 而且sheetName必须不一样。这里注意DemoData.class 可以每次都变，我这里为了方便 所以用的同一个class
                // 实际上可以一直变
                WriteSheet writeSheet = EasyExcel.writerSheet(i, "模板" + i).head(DemoData.class).build();
                // 分页去数据库查询数据 这里可以去数据库查询每一页的数据
                List<DemoData> data = data();
                excelWriter.write(data, writeSheet);
            }
        }

    }


        //本地新建一个临时文件
        File file = FileUtil.create(filePath, fileName);
        ExcelWriter excelWriter = EasyExcelFactory.write(file).build();
        WriteSheet writeSheet = EasyExcelFactory.writerSheet().build();
       
        ParseExcelListener parseExcelListener = new ParseExcelListener(new ExcelDataHandler<Map<Integer, String>>() {
            /**
             * @Param: Map<行号, Map < 列号, 单元格内容>>
             */
            @Override
            public void actuator(Map<Integer, Map<Integer, String>> dataMap, List<Map<Integer, String>> headList) {
            	//每批数据统一处理
            	//判断临时文件是否已存在，已存在则不需要表头，直接往后面追加写
            	if (!file.exists() || file.length() == 0) {
            		writeSheet.setHead(getHeader(importContext.getMapping(), excelHeadIdxNameMap));
        		}
        		excelWriter.write(importSafetyInventoryResults, writeSheet);
            }
        });
        try {
            EasyExcelFactory.read(inputStream).registerReadListener(parseExcelListener).headRowNumber(1).sheet().doRead();
        } catch (Exception e) {
            log.warn("解析数据异常，文件url：{},错误原因：{}", importContext.getImportsRecord().getOriginUrl(), e);
            throw e;
        } finally {
        	//所有数据解析完再关闭excelWriter,否则每批数据都会覆盖前面的内容
            if (excelWriter != null) {
                excelWriter.finish();
            }
        }
		//处理完需要把本地的临时文件删掉
        FileUtil.clearFile(file);

鸣谢

https://easyexcel.opensource.alibaba.com/docs/current/quickstart/read#%E4%B8%8D%E5%88%9B%E5%BB%BA%E5%AF%B9%E8%B1%A1%E7%9A%84%E8%AF%BB
https://blog.csdn.net/u012751272/article/details/126298071

纯阳雪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
easyexcel 设置header_easyexcel快速入门
weixin_39800990的博客
12-20 1606
一 前言本篇是EasyExcel快速入门知识，讲解如何读取，写入excel ,并给出了简单web示例；为什么要使用easyexcel；原因是相比于poi,easyexcel更加轻量级，读取写入API方便，并且在工作中占用内存较小；官方描述如下：Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定...
EasyExcel 入门
li13429743580的博客
11-09 410
EasyExcel 入门 1.1 EasyExcel概述 ​ EasyExcel是一个基于Java的简单、省内存的读写Excel的开源项目。在尽可能节约内存的情况下支持读写百M的Excel。 ​ 官网：https://www.yuque.com/easyexcel/doc/easyexcel ​ github地址：https://github.com/alibaba/easyexcel 1.2 EasyExcel 特点 ​ Java解析、生成Excel比较有名的框架有Apache poi、jxl，但他们.
springboot结合Easyexcel的使用（详细介绍Easyexcel）小白入门到精通
12-21
一、为什么用它？      由于apache poi和jxl，excelPOI都有一个严重的问题，就是非常消耗内存，特别处理数据量多时，速度慢并且时有异常发生，所以改用由阿里研发的easyExcel更可靠一些,它的官方建议对于1000行以内的采用原来poi的写法一次读写，但于1000行以上的数据，有用了一行行进行解析的方案，这样避免了内存的溢出。 二、easyExcel主要功能： 1.支持Excel导入与导出，同时支持xls和xlsm，即07版本和03版本(官方建议03版本不要超过2000行）的Excel文件格式。 2.支持pojo注释时，映射成为java实体模型。 3.支持多个sheet，同
EasyExcel基础学习
weixin_42453582的博客
12-10 148
一、Excel导入导出的应用场景 1、数据导入：减轻录入工作量 2、数据导出：统计信息归档 3、数据传输：异构系统之间数据传输 二、EasyExcel简介 1、EasyExcel特点 Java领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行，但是一旦并发上来后一定会OOM或者JVM频繁的full gc。 EasyExcel是阿里巴巴开源的一个excel处理框架，以使用简单、节省内存著称。EasyExcel能
EasyExcel入门
伏颜的博客
07-29 863
EasyExcel入门学习记录---学习自b站黑马
+EasyExcel学习
xiaoyaGrace的博客
04-09 172
一、引入 在一个项目系统中，只要运行了，就会产生很多数据，一般会采用分页显示，但是为了方便浏览数据，一般都会做一个功能，导出成excel，而为了添加数据，也会做一个导入excel功能，进行批量导入。而现在在市场有很多这方面的技术，如Apache poi、jxl。但是这两种技术都存在一个问题，就是非常的耗内存，虽然poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但po...
学习EasyExcel的简单读和写的操作
mmpo789的博客
04-07 537
EasyExcel的简单读写 //1:导入easyexcel依赖 <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.2.6</version> </dependency> //2 创建实体类 @Data @AllArgs
SpringBoot集成EasyExcel快速入门Demo
04-07
在本文中，我们将深入探讨如何将SpringBoot框架与流行的Java Excel处理库EasyExcel结合使用，以便轻松实现Excel的上传和下载功能。EasyExcel是阿里巴巴开源的一款轻量级库，专门设计用于处理Excel数据，它避免了内存...
easyexcel读取表头_EasyExcel的基本使用和快速入门
weixin_34523442的博客
12-30 8621
一、Excel导入导出的应用场景1、数据导入：减轻录入工作量2、数据导出：统计信息归档3、数据传输：异构系统之间数据传输二、EasyExcel简介2.1 EasyExcel特点Java领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行，但是一旦并发上来后一定会OOM或者JVM频繁的full gc。E...
EasyExcel快速入门指南
EasyExcel是一个强大的Excel文件操作工具，可以帮助用户快速、简单地处理Excel文件，提供了丰富的API接口，支持各种操作，如读、写、编辑Excel文件，同时支持大数据量的处理。 ## 1.2 EasyExcel的优势和特点 - ...
EasyExcel学习总结
star_falling的博客
01-12 413
1、什么事EasyExcel？ Java解析、生成Excel比较有名的框架有Apache poi、jxl。 但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的 解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都 是在内存中完成的，内存消耗依然很大。 easyexcel重写了poi对07版Excel的解析，一个3M的excel用POI sax解析依然需要 100M左右内存，改用easyexcel可以降低到几M，并且再大的ex
AsyncTask -- 异步任务
Abel_Gao的博客
04-12 217
AsyncTask – 异步任务 异步任务的目的 安卓单线程模型 耗时操作放在非主线程中执行 异步任务的功能 可以在子线程中更新 UI 封装、简化异步操作 AsyncTask 基本结构 AsyncTask 构建 AsyncTask 子类的回调方法 doInBackground : 必须重写，异步执行后台线程将要完成的任务； onPreExecute : 执行后台耗时操作前
EasyExcel入门使用教程
m0_50281408的博客
11-14 1151
数据导入导出意义后台管理系统是管理、处理企业业务数据的重要工具，在这样的系统中，数据的导入和导出功能是非常重要的，其主要意义包括以下几个方面：1、提高数据操作效率：手动逐条添加或修改数据不仅费时费力，而且容易出错，此时就可以将大量数据从Excel等表格软件中导入到系统中时，通过数据导入功能，可以直接将表格中的数据批量导入到系统中，提高了数据操作的效率。2、实现数据备份与迁移：通过数据导出功能，管理员可以将系统中的数据导出为 Excel 或其他格式的文件，以实现数据备份，避免数据丢失。
EasyExcel详细教程，直接上干货
2301_79987255的博客
04-03 557
(3)实现写操作。
EasyExcel详解（结合官方文档）
热门推荐
Bananaaay的博客
12-27 1万+
EasyExcel的学习分享
(一)EasyExcel初相识：万字吃透EasyExcel核心API，从此报表处理不再喊难！
最新发布
CTZL123456的博客
08-21 1110
就目前为止，前面已经对EasyExcel框架本身做了较为全面的阐述，掌握本文提到的这些API后，相信能让你在以后使用EasyExcel的过程中如鱼得水。不过，由于本文更多的是在聊框架本身（核心类、API等），所以并未提供与实际业务需求贴合的实战案例。起初的简单读写演示也好，最后的导入导出接口也罢，都只是十分简单的例子，这对存在报表需求的小伙伴而言，并不会提供太大的参考价值。同时，尽管EasyExcel相较于原生的POI使用方式来说，已经简单了不知道多少倍，可每次读取不同的数据，都需要定义不同的。
EasyExcel 的简单使用（读取&写入）
FBB360JAVA的博客
06-30 5333
我们的业务场景中可能经常遇到需要保存数据到表格，或者从表格读取到数据，随后做一些操作。本文将在Spring项目中做写入和读取操作。
easyexcel 图片_EasyExcel 入门
05-16
EasyExcel 是一个基于阿里巴巴的开源项目 easyexcel 开发的 Excel 工具类库，可以方便快捷地读取、写入 Excel 文件。它支持大批量数据的导入导出，可以读取 Excel 中的复杂表格，并且能够将 Java 对象映射到 Excel 单元格中。 在 EasyExcel 中，图片的导入和导出可以通过一个 POJO 类来实现。下面是一个示例： ```java public class ImageData { //图片文件名 private String fileName; //图片字节数组 private byte[] imageBytes; public String getFileName() { return fileName; } public void setFileName(String fileName) { this.fileName = fileName; } public byte[] getImageBytes() { return imageBytes; } public void setImageBytes(byte[] imageBytes) { this.imageBytes = imageBytes; } } ``` 这个 POJO 类包含了图片文件名和图片字节数组两个属性，分别用于表示图片的文件名和内容。在导入和导出 Excel 文件时，我们可以使用 EasyExcel 提供的注解来指定这个 POJO 类中的属性和 Excel 表格中的列之间的映射关系。 下面是一个示例，演示了如何将 POJO 类中的图片数据导出到 Excel 文件中： ```java public static void writeExcel() throws IOException { //定义 Excel 文件输出流 OutputStream outputStream = new FileOutputStream("test.xlsx"); //创建 EasyExcel 写入器 ExcelWriter excelWriter = EasyExcel.write(outputStream, ImageData.class).build(); //创建一个 Sheet WriteSheet writeSheet = EasyExcel.writerSheet("Sheet1").build(); //创建一个图片 BufferedImage image = new BufferedImage(100, 100, BufferedImage.TYPE_INT_RGB); Graphics2D g = image.createGraphics(); g.setColor(Color.WHITE); g.fillRect(0, 0, 100, 100); g.setColor(Color.BLACK); g.drawString("Hello, EasyExcel", 10, 50); ByteArrayOutputStream outputStream = new ByteArrayOutputStream(); ImageIO.write(image, "png", outputStream); byte[] bytes = outputStream.toByteArray(); //创建一个 ImageData 对象 ImageData imageData = new ImageData(); imageData.setFileName("test.png"); imageData.setImageBytes(bytes); //将 ImageData 对象写入到 Excel 文件中 excelWriter.write(Arrays.asList(imageData), writeSheet); //关闭 Excel 写入器 excelWriter.finish(); } ``` 在这个示例中，我们首先创建了一个 BufferedImage 对象，然后使用 Graphics2D 绘制了一个字符串，并将其转换为了字节数组。接着，我们创建了一个 ImageData 对象，并将图片文件名和字节数组分别设置到了对象的属性中。最后，我们将 ImageData 对象写入到了 Excel 文件中。 导入 Excel 文件中包含图片数据的过程与导出类似，只需要使用 EasyExcel 提供的读取器和监听器，读取 Excel 文件中的数据，并将读取到的数据转换为 POJO 对象即可。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值