使用 EasyExcel 高效读取大文件 Excel

使用 EasyExcel 高效读取大文件 Excel 的最佳实践

在现代应用中，数据处理经常涉及到大规模数据集的处理，Excel 作为一种常见的文件格式，经常用于数据导入和导出。然而，传统的 Excel 处理库如 Apache POI 在处理大文件时可能会面临内存溢出和性能瓶颈问题。阿里的 EasyExcel 是一个专为高效处理大规模 Excel 文件而设计的轻量级库，它以流式读取的方式，大幅降低了内存占用，并提高了处理效率。

本文将介绍如何使用 EasyExcel 读取大文件 Excel，避免内存问题并优化性能。

为什么选择 EasyExcel？

• 低内存占用：EasyExcel 采用了流式读取方式，不会将整个 Excel 文件加载到内存中，大大降低了内存消耗。
• 性能优越：相比传统的 Excel 处理库，EasyExcel 具有更高的读取和写入性能。
• 简洁易用：API 设计简洁明了，易于集成到 Spring Boot 等主流框架中。

读取大文件 Excel 的基本步骤

以下是使用 EasyExcel 读取大文件 Excel 的步骤和代码示例。

1. 引入依赖

首先，在你的 Maven 项目中引入 EasyExcel 依赖：

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
    <version>3.0.5</version>
</dependency>

2. 创建 Excel 数据模型

创建一个 Java 类来表示 Excel 中的每一行数据。假设我们要读取一个包含用户信息的 Excel 文件：

@Data
public class UserExcelData {
    @ExcelProperty("用户ID")
    private Long userId;

    @ExcelProperty("用户名")
    private String userName;

    @ExcelProperty("邮箱")
    private String email;
}

3. 实现自定义的 AnalysisEventListener

为了处理 Excel 中的每一行数据，我们需要实现 AnalysisEventListener 接口。该接口提供了两个核心方法：invoke 和 doAfterAllAnalysed。

public class UserExcelListener extends AnalysisEventListener<UserExcelData> {

    @Override
    public void invoke(UserExcelData data, AnalysisContext context) {
        // 处理每一行数据
        System.out.println("读取到数据：" + data);
    }

    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 所有数据解析完成后的处理
        System.out.println("所有数据解析完成！");
    }
}

4. 读取 Excel 文件

现在，我们可以使用 EasyExcel 的 read 方法来读取大文件 Excel。以下是一个基本示例：

public void readLargeExcelFile(String filePath) {
    EasyExcel.read(filePath, UserExcelData.class, new UserExcelListener())
            .sheet()
            .doRead();
}

5. 处理大文件的优化建议

对于大文件的处理，以下几个优化建议可以帮助提升性能并减少内存占用：

• 分批处理：在 invoke 方法中，每读取一定数量的数据（如 1000 行），就将数据批量保存到数据库或其他存储中，避免大量数据积压在内存中。

• 使用流式处理：EasyExcel 默认使用流式处理，但你也可以通过配置确保在大文件读取时最大限度地利用这一特性。

• 多线程处理：对于超大文件，可以考虑将不同的 Sheet 或部分数据拆分到多个线程中并行处理。

@Override
public void invoke(UserExcelData data, AnalysisContext context) {
    // 分批处理
    dataList.add(data);
    if (dataList.size() >= BATCH_SIZE) {
        saveData(dataList);
        dataList.clear(); // 清理缓存，防止内存溢出
    }
}

@Override
public void doAfterAllAnalysed(AnalysisContext context) {
    // 最后一批数据保存
    if (!dataList.isEmpty()) {
        saveData(dataList);
    }
    System.out.println("所有数据解析完成！");
}

6. 实现批量数据保存方法

private void saveData(List<UserExcelData> dataList) {
    // 将数据批量保存到数据库
    userRepository.saveAll(dataList);
    System.out.println("保存数据：" + dataList.size() + " 条");
}

总结

在处理大文件 Excel 时，EasyExcel 提供了高效且内存友好的解决方案。通过分批处理、多线程处理等方式，可以进一步提升读取和处理大文件的效率。在实际项目中，灵活运用这些技术和方法，可以帮助你轻松应对大规模数据处理的挑战。

更多EasyExcel操作，可以前往官网进行检索：EasyExcel官网🔗