导出超大数据excel,基于EEC实现

本文介绍了一个基于eec框架实现超大数据量Excel导出的解决方案,该框架具有性能强大、内存占用低的特点。在18年笔记本上测试,导出含有2千万数据的5个Excel文件只需8分钟,内存峰值1300M。虽然当前版本不支持模板添加,但通过手动绘制模板解决了复杂表格需求。文章还讨论了如何减少代码量和提高维护性,并提供了依赖配置和代码示例。
摘要由CSDN通过智能技术生成

简要说明:

大数据导出导入excel,网上许多使用EasyExcel进行实现,但EasyExcel是基于Apache poi进行封装的所以存在一个共病【占用内存过大】,在找了许多个poi框架如AutoExcel、MyExcel... 最终选型eec,文档写的很不错,简单易用,更新维护频繁,导出导入的性能完全可以说是极强!

 

eec开源框架地址  https://github.com/wangguanquan/eec

本人用18年的笔记本电脑, 本地测试并发StatementSheet流式导出5个excel,每个excel2千万数据,总耗时在8分钟,占用内存峰值在1300M,cpu80%

StatementSheet 的使用方式可见:GitHub - wangguanquan/eec-example: eec使用事例


针对目前还不支持add模板【addSheet时能不能添加模板,好像不支持模板+addSheet的结合使用 · Issue #256 · wangguanquan/eec · GitHub】,基于0.5.3版本提供的【多行表头】,临时自己手动绘制模板,解决 【汇总+明细】的excel需求

以下是实现过程

 依赖

<dependency>
     <groupId>org.ttzero</groupId>
     <artifactId>eec</artifactId>
     <version>0.5.3</version>
</dependency>

堆栈配置参考 -Xms32m -Xmx2048m , 如果需要并发导出多份excel, -Xms 建议根据机器进行评估进行配置,合理配置-Xms可以达到意想不到的效果

首先我们先看实现多行表头的过程,简单看看即可

 @Test
    public void dome() throws Exception {
        String start = DateUtilss.format(new Date(),DateUtilss.YYYY_MM_DD_HH_MM_SS);
        ArrayList<Object> objects = new ArrayList<>();
        objects.add(new HashMap<>());
        Workbook wb = new Workbook();
        Styles style = wb.getStyles();

        String titleName = "XXX大药房医药连锁有限公司委托服务12月 应收账款汇总表-华南荔湾仓";
        wb.addSheet(new ListSheet(objects
                , new Column(titleName) //相同字符串会合并
                .addSubColumn(new Column("数据统计时间:"))
                .addSubColumn(new Column("一、仓储作业费:"))
                .addSubColumn(new Column("名称"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))

                , new Column(titleName)//相同字符串会合并
                .addSubColumn(new Column("2021年12月1日-12月31日" ))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))

                , new Column(titleName)//相同字符串会合并
                .addSubColumn(new Column("2021年12月1日-12月31日"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))

                , new Column(titleName)//相同字符串会合并
                .addSubColumn(new Column("XXXX集团XX有限公司制"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key"))
                .addSubColumn(new Column("","key")) //size()

        )).writeTo(new File("E://excel//模板dome.xlsx"));

        System.out.println(start+"---"+DateUtilss.format(new Date(),DateUtilss.YYYY_MM_DD_HH_MM_SS));
    }

导出的excel效果如下

 可见代码实现是每列往下衍生的,由此可见代码量会比较多,以及不好维护


如何减小代码量,并更易维护,实现以下表格内容

即变成以下封装方式


表绘制实体类


import lombok.Data;
import lombok.Getter;
import lombok.NoArgsConstructor;
import lombok.experimental.Accessors;
import org.ttzero.excel.entity.style.Styles;

import java.util.ArrayList;
import java.util.Li
  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值