使用EasyExcel分页导出Excel

有时候我们需要导出数据库中所有的数据,通常我们使用的方法是将数据库的数据全部查询出来,然后写到Excel中导出。但是当数据量比较大的时候,将几万条数据全部放入内存的话,可能会导致OOM,所以采取分页的方式一页一页的写入Excel文件中导出,能有效避免OOM问题

一、环境准备

数据库实体EmployeeDO.java
@TableName("employee")
public class EmployeeDO implements Serializable {
    @TableId("employee_id")
    private Long employeeId;
    @TableField(value = "employee_name")
    private String employeeName;
    private Integer age;
    private String gender;
    @TableField(value = "create_time")
    private LocalDateTime createTime;
}
导出的对象EmployeeExportDTO.java
public class EmployeeExportDTO implements Serializable {

    @ExcelProperty(index = 0, value = "序号")
    private String index;
    @ExcelProperty(index = 1, value = "员工ID")
    @JsonFormat(shape = JsonFormat.Shape.STRING)
    private String employeeId;
    @ExcelProperty(index = 2, value = "员工姓名")
    private String employeeName;
    @ExcelProperty(index = 3, value = "年龄")
    private String age;
    @ExcelProperty(index = 4, value = "性别")
    private String gender;
    @ExcelProperty(index = 5, value = "创建时间", converter = LocalDateTimeConverter.class)
    @JsonFormat(shape = JsonFormat.Shape.STRING, pattern = "yyyy-MM-dd")
    private String createTime;
}

二、封装EasyExcel工具类

@Slf4j
public class EasyExcelUtil {

    public static void pageExport(File file, Class clazz, Page page, Supplier<Page> supplier, Function function) {
        ExcelWriter excelWriter = EasyExcel.write(file).head(clazz).build();
        export(page, supplier, function, excelWriter);
    }

    public static void pageExport(OutputStream outputStream, Class clazz, Page page, Supplier<Page> supplier, Function function) {
        ExcelWriter excelWriter = EasyExcel.write(outputStream).head(clazz).build();
        export(page, supplier, function, excelWriter);
    }

    private static void export(Page page, Supplier<Page> supplier, Function function, ExcelWriter excelWriter) {
        WriteSheet sheet1 = EasyExcel.writerSheet("test").build();
        long currentPage = 1;
        long totalPage = 0;
        page.setCurrent(currentPage);
        do {
            Page res = supplier.get();
            List collect = (List) res.getRecords().stream().map(function::apply).collect(Collectors.toList());
            excelWriter.write(collect, sheet1);
            totalPage = res.getPages();
            currentPage++;
            page.setCurrent(currentPage);
        } while (currentPage <= totalPage);
        excelWriter.finish();
    }

}

三、测试

@Test
public void testExportByPage() {
    File file = new File("D:\\doc\\a.xlsx");
    Page<EmployeeDO> page = new Page<>();
    LambdaQueryWrapper<EmployeeDO> queryWrapper = Wrappers.lambdaQuery(EmployeeDO.class);
    page.setSize(20000);
    EasyExcelUtil.pageExport(file, EmployeeExportDTO.class, page, () -> employeeMapper.selectPage(page, queryWrapper), (res) -> {
        EmployeeExportDTO employeeExportDTO = new EmployeeExportDTO();
        BeanUtils.copyProperties(res, employeeExportDTO);
        return employeeExportDTO;
    });
}

四、导出结果

在这里插入图片描述

  • 9
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
EasyExcel是阿里巴巴开源的一款基于Java的Excel数据读写工具,它提供了高性能、易用的API来处理大文件导出和导入功能。关于分页异步导出EasyExcel支持流式处理,可以避免一次性加载所有数据到内存中,从而解决大文件导出时内存溢出的问题。 具体实现分页异步导出的步骤如下: 1. **配置读取器**:使用`RowMapper`或`DataReader`定义每个数据行的处理逻辑,并设置`sheet()`, `headings()`等选项指定读取的Excel范围和列名。 ```java ExcelReader excelReader = EasyExcel.read(fileName, YourDataClass.class) .sheet("sheetName") .doRead(); ``` 2. **分页读取**:使用`read`方法的`limit`参数设置每页读取的行数,然后在读取完成后处理结果。 ```java int pageSize = 1000; // 设置每页读取1000行 List<YourDataClass> dataList = new ArrayList<>(); while (excelReader.read(dataList)) { processPageData(dataList); // 处理当前页数据 dataList.clear(); // 清空已处理的数据 if (!excelReader.hasNext()) { break; // 如果没有更多数据则停止 } } ``` 3. **异步处理**:如果你的应用场景需要异步处理大量数据,可以通过`ExecutorService`将数据分批提交到后台任务队列,如Spring的`ThreadPoolTaskExecutor`,或者使用Java的`CompletableFuture`进行异步回调。 4. **结果整合**:最后,异步处理完成后,可能需要将多个页面的结果合并起来,形成完整的导出数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值