使用EasyExcel导出百万条数据

最新推荐文章于 2024-09-28 18:11:53 发布
最新推荐文章于 2024-09-28 18:11:53 发布
阅读量1.4k 收藏 15
点赞数 7
文章标签： excel java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aaaaaaaaattt/article/details/135407493
版权

使用EasyExcel导出百万条数据

应用是基于100W条数据进行的测试
首先：导入相关需要的依赖：

		<dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>3.16</version>
        </dependency>

        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>3.16</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>easyexcel</artifactId>
            <version>2.2.10</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.poi</groupId>
                    <artifactId>poi</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.poi</groupId>
                    <artifactId>poi-ooxml</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.poi</groupId>
                    <artifactId>poi-ooxml-schemas</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.16.20</version>
        </dependency>

        <!-- junit -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.7.25</version>
            <scope>compile</scope>
        </dependency>

创建所需要的实体类，如下：

@Accessors(chain = true)
@Data
public class ExcelBean {

    @ExcelProperty("主键id")
    private String id;

    @ExcelProperty("姓名")
    private String name;

    @ExcelProperty("地址")
    private String address;

    @ExcelProperty("年龄")
    private Integer age;

    @ExcelProperty("数量")
    private Integer number;

    @NumberFormat("#.##")
    @ExcelProperty("身高")
    private Double high;

    @ExcelProperty("距离")
    private Double distance;

    @DateTimeFormat("yyyy-MM-dd HH:mm:ss")
    @ExcelProperty("开始时间")
    private Date startTime;

    @ExcelProperty("结束时间")
    private Date endTime;
}

创建所用到的测试类，如下：

@Slf4j
public class writeExcelByApi {

    public static final String FILE_NAME = "C:\\Users\\861123001\\Desktop\\mqtt压测软件\\自造数据\\test_04.xlsx";
    // 每个 sheet 写入的数据
    public static final int NUM_PER_SHEET = 300000;
    // 每次向 sheet 中写入的数据（分页写入）
    public static final int NUM_BY_TIMES = 50000;

    @Test
    public void writeExcelByApi(){
        String fileName = FILE_NAME;
        log.info("导出excel名称={}",fileName);
        long startTime = System.currentTimeMillis();
        //调用api
        List<ExcelBean> date = getDate();
        EasyExcel.write(fileName,ExcelBean.class).sheet().doWrite(date);
        log.info("导出excel结束,数据量={}，耗时={}ms", date.size(), System.currentTimeMillis() - startTime);
    }

    /**
     * 获取excel 导出的数据
     *
     * @return list 集合
     */
    public static List<ExcelBean> getDate(){
        log.info("开始生成数据");
        //创建返回数据集合
        List<ExcelBean> list = new ArrayList<>();
        Date date = new Date();
        long startTime = System.currentTimeMillis();
        for (int i = 0; i < 2000000; i++) {
            //创建数据对象
            ExcelBean excelBean = new ExcelBean();
            ExcelBean excel = excelBean.setId(UUID.randomUUID().toString())
                    .setName("小明" + (10000 + i))
                    .setAddress("浙江省杭州市西湖")
                    .setAge(i)
                    .setNumber(i + 10000)
                    .setHigh(1.234 * i)
                    .setDistance(3.14 * i)
                    .setStartTime(date)
                    .setEndTime(date);

            list.add(excel);
        }
        log.info("数据生成结束，数据量={}，耗时={}ms", list.size(), System.currentTimeMillis() - startTime);
        return list;
    }
}

EasyExcel 导出 excel 应用优化一：可以通过分sheet来解决超出100万的数据

	@Test
    public void writeExcelByMulSheet() {
        String fileName = FILE_NAME;
        log.info("导出excel名称={}",fileName);
        long startTime = System.currentTimeMillis();

        //获取数据
        List<ExcelBean> date = getDate();

        //获取sheet的个数
        int sheetNum = date.size() % NUM_PER_SHEET == 0 ? date.size() / NUM_PER_SHEET : date.size() / NUM_PER_SHEET + 1;

        //指定写入的文件
        ExcelWriter excelWriter = EasyExcel.write(fileName, ExcelBean.class).build();
        for (int i = 0; i < sheetNum; i++) {
            long l = System.currentTimeMillis();

            //设置sheet的名字，每个sheet名称不能相同
            String sheetName = "sheet" + i;
            WriteSheet writeSheet = EasyExcel.writerSheet(i, sheetName).build();

            //开始根结束行数
            int startNum = i * NUM_PER_SHEET;
            int endNum = i == sheetNum - 1 ? date.size() : (i + 1) *  NUM_PER_SHEET;

            excelWriter.write(date.subList(startNum, endNum), writeSheet);
            log.info("写入sheet={}，数据量{}-{}={}，耗时={}ms", sheetName, endNum, startNum, endNum - startNum, System.currentTimeMillis() - l);
        }
        //最好放在finally中
        excelWriter.finish();
        log.info("导出excel结束,总数据量={}，耗时={}ms", date.size(), System.currentTimeMillis() - startTime);
    }

EasyExcel 导出 excel 应用优化二：数据源 list 太大，直接读取全部的 list 数据导致 OOM
将 list 数据进行分页读取，并进行分页写入到 excel。这样还有个好处，每次每页读取部分数据，然后写入到 excel 中（相当于该批数据已经从内存刷到了磁盘），也增加了写入的效率；poi 中的导出excel，为此专门提供了一个刷新磁盘的 api，具体代码如下

	@Test
    public void writeExcelByMulWrite() {
        String fileName = FILE_NAME;
        log.info("导出excel名称={}",fileName);
        long startTime = System.currentTimeMillis();

        //获取数据
        List<ExcelBean> date = getDate();
        ExcelWriter excelWriter = EasyExcel.write(fileName, ExcelBean.class).build();

        //适用于针对100万数据以下的写法
        //WriteSheet writeSheet = EasyExcel.writerSheet("testSheet" ).build();

        //计算需要写的次数
        int times = date.size() % NUM_BY_TIMES == 0 ? date.size() / NUM_BY_TIMES : date.size() / NUM_BY_TIMES + 1;
        for (int i = 0; i < times; i++) {
            long l = System.currentTimeMillis();
            WriteSheet writeSheet = EasyExcel.writerSheet("testSheet" + i).build();
            //开始跟结束行数
            int startNum = i * NUM_BY_TIMES;
            int endNum = i == times - 1 ? date.size() : (i + 1) * NUM_BY_TIMES;

            excelWriter.write(date.subList(startNum, endNum), writeSheet);
            log.info("写入数量{}-{}={}，耗时={}ms", endNum, startNum, endNum - startNum, startTime - l);
        }
        //最好写在finally里
        if (excelWriter != null) {
            excelWriter.finish();
        }
    }

EasyExcel 导出 excel 应用优化三：结合前面两种方案
将 list 数据进行分页读取，并且每个 sheet 分多次写入，且写入到多个 sheet 中

	@Test
    public void writeExcelByMulSheetAndMulWrite() {
        String fileName = FILE_NAME;
        log.info("导出excel名称={}", fileName);
        long startTime = System.currentTimeMillis();

        //获取数据
        List<ExcelBean> date = getDate();

        //获取sheet表数
        int sheetNum = date.size() % NUM_PER_SHEET == 0 ? date.size() / NUM_PER_SHEET : date.size() / NUM_PER_SHEET + 1;

        //获取每个sheet导入的次数
        int writeNumPerSheet = NUM_PER_SHEET % NUM_BY_TIMES == 0 ? NUM_PER_SHEET / NUM_BY_TIMES : NUM_PER_SHEET / NUM_BY_TIMES + 1;

        // 最后一个 sheet 写入的数量
        int writeNumLastSheet = date.size() - (sheetNum - 1) * NUM_PER_SHEET;

        // 最后一个 sheet 写入的次数
        int writeNumPerLastSheet = writeNumLastSheet % NUM_BY_TIMES == 0 ? writeNumLastSheet / NUM_BY_TIMES : writeNumLastSheet / NUM_BY_TIMES + 1;

        // 指定写入的文件
        ExcelWriter excelWriter = EasyExcel.write(fileName, ExcelBean.class).build();

        for (int i = 0; i < sheetNum; i++) {
            String sheetName = "sheet" + i;
            WriteSheet writeSheet = EasyExcel.writerSheet(i, sheetName).build();
            int writeNum = i == sheetNum - 1 ? writeNumPerLastSheet : writeNumPerSheet; // 每个sheet 写入的次数
            int endEndNum = i == sheetNum - 1 ? date.size() : (i + 1) * NUM_PER_SHEET; // 每个sheet 最后一次写入的最后行数

            for (int j = 0; j < writeNum; j++) {
                long l = System.currentTimeMillis();
                int startNum = i * NUM_PER_SHEET + j * NUM_BY_TIMES;
                int endNum = j == writeNum - 1 ? endEndNum : i * NUM_PER_SHEET + (j + 1) * NUM_BY_TIMES;
                excelWriter.write(date.subList(startNum, endNum), writeSheet);
                log.info("写入sheet={}，数据量={}-{}={}，耗时={}", sheetName, endNum, startNum, endNum - startNum, startTime - l);
            }
        }
        // 需要放入 finally 中
        if (excelWriter != null) {
            excelWriter.finish();
        }
        log.info("导出excel结束,总数据量={}，耗时={}ms", date.size(), System.currentTimeMillis() - startTime);

    }

在这里插入图片描述

aaaa1111bgg
关注
百万级数据EXCEL导出--easyexcel
Java_Mrsun的博客
01-03 1万+
easyexcel 项目git地址为: https://github.com/alibaba/easyexcel 官方使用指南见: https://github.com/alibaba/easyexcel/blob/master/quickstart.md 官方介绍：Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套...
EasyExcel导出大数据文件（100万条）_easyexcel导出百万数据
2401_84181326的博客
04-21 1380
/这里给id起别名innerid是为了防止数据库分不出来这两个id哪个是哪个。System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);
EasyExcel导出大数据文件（100万条）_easyexcel导出百万数据(1)
2301_79988566的博客
04-29 1061
System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次查询时间：” + (t4-t3) / 1000D);System.out.println(“总耗时：” + (t2 - t1) / 1000D);
EasyExcel实现百万数据批量导出
最新发布
Mr_Richard的博客
09-28 932
当数据量比较大时，例如数据量达到百万级，传统的一次读取到内存中在写入excel文件的方法便不再适用了，可能会导致内存溢出；而且一次性将数据写入一张sheet工作表也不太好。但我们可以选择数据分片的方式批量写入多个工作表。测试数据100w条，写入到Excel表中，分成5个sheet表，每个sheet表20w条。
【实战】EasyExcel实现百万级数据导入导出
勤于笔记，成于点滴。
07-02 4569
最近接到一个百万级excel数据导入导出的需求，大概就是我们在进行公众号API群发的时候，需要支持500w以上的openid进行群发，并且可以提供发送openid数据的导出功能。可能有的同学会说，这么大的数据量发送为啥不用标签发送呢。哈哈，标签发送需要提前打标签微信限制50个一批，我们开10个线程也是需要3个小时左右才能打完，这样肯定不能满足客户需求。如果用openid群发就不一样了，微信支持10000个每批，基本上我开5个线程同时发送差不多几分钟搞定。所以，问题就来到了百万级excel数据的导入与导出啦。
EasyExcel导出大数据文件（100万条）
Shu0Shuo的博客
05-09 7024
啊啊啊，脑袋要炸了！！
使用EasyExcel实现excel导出，支持百万大数据量导出-----超简单
热门推荐
MCP的博客
02-10 1万+
超简单的EasyExcel实现excel导出，支持百万大数据量导出,通过设置sheet数量，完成分批导出，每个sheet存100万数据，每次查询插入20万数据，避免超时，内存溢出等问题，可以根据服务器配置调整参数设置。
EasyExcel带格式多线程导出百万数据（实测好用）
Java精选
03-05 3922
前言以下为结合实际情况作的方案设计，导出阈值以及单sheet页条数都可以根据实际情况调整大佬可直接跳过新手教程，直接查看文末代码背景说明针对明细报表，用户会选择针对当前明细数据进行导出，便于本地或者线下进行处理或者计算等需求。不过一般在这种大数据量的导出任务下，会引发以下问题：响应时间较慢；内存资源占用过大，基本上一个大数据量的导出会消耗可视化服务的所有资源，引起内存回收，其它接口无响应；考虑到单...
利用easyExcel导出上万条数据，自定义策略合并单元格
12-04
本文将深入探讨如何使用阿里云开发的开源库EasyExcel来处理大数据导出，并结合Apache POI库，以及SpringBoot框架，实现上万条数据的自定义策略合并单元格导出。我们将基于提供的技术栈——EasyExcel 2.1.7，Apache ...
使用easyExcel导出百万级数据
good_luck10的博客
07-17 4840
1：测试数据量两百二十多万，Excel2007，一个Excel多个sheet 2：导入maven依赖包 <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>1.1.2-bet...
2024年EasyExcel导出大数据文件（100万条）_easyexcel导出百万数据(2)，2024年最新这是一份面向大数据开发开发者的复习指南
2401_84164721的博客
05-05 1128
/这里给id起别名innerid是为了防止数据库分不出来这两个id哪个是哪个。System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);
easyExcel实现大数据导出
11-13
阿里巴巴easyExcel实现大数据导出！！
使用EasyExcel进行百万数据文件导出思路
qq_41158525的博客
07-12 3289
EasyExcel文件导出
EasyExcel快速导出 100W 数据
weixin_42023748的博客
01-09 3625
遂抛弃自己封装的，转战研究阿里开源的EasyExcel. 不过 说实话，当时自己封装的那个还是有些技术含量的，例如：外观模式，模板方法模式，以及委托思想，组合思想，可以看看。不过一是存在封装不太友好使用不方便的问题，二是这些poi的操作方式仍然存在内存占用过大的问题,三是存在空循环和整除的时候数据有缺陷的问题，以及存在内存溢出的隐患。造的假数据，100W条记录，18个字段，测试导出是70s。在实际上产环境使用的时候，具体的还是要看自己写的sql的性能。sql性能快的话，会很快。
使用 EasyExcel 实现 百万级数据导入导出
houxian1103的博客
08-19 2008
在项目开发中往往需要使用到数据的导入和导出，导入就是从Excel中导入到DB中，而导出就是从DB中查询数据然后使用POI写到Excel上。大数据的导入和导出，相信大家在日常的开发、面试中都会遇到。很多问题只要这一次解决了，总给复盘记录，后期遇到同样的问题就好解决了。好啦，废话不多说开始正文！1.如此大批量数据的导出和导入操作，会占用大量的内存实际开发中还应限制操作人数。2.在做大批量的数据导入时，可以使用jdbc手动开启事务，批量提交。
EasyExcel实现百万级数据的导入导出
qq_42553489的博客
08-08 6308
EasyExcel实现百万级数据的导入导出
java百万级别excel导出（easyExcel）
流星007
10-06 7579
1.为什么需要excel到处？ 导出功能在各个领域都被广泛的运用，当用户想把数据下载下来的时候，此时excel是一个不错的选择。 2.如何选择合适的excel导出？ 选择的问题一般都比较纠结，选择了一个版本之后发现另外一个版本更适合，所以我们就应该选择一些我们相对较熟悉或者符合自己开发习惯的就行，没有必要纠结到底选择那个版本。 3.easyexcel工具 Java解析、生成Excel比较...
EasyExcel百万数据导入导出
idooy的学习笔记
01-09 2679
开发中，导入导出功能对于后台管理这样的系统来说太常用了，除了实现该功能外导入导出的性能也需要开发人员进行充分的考虑。个别系统导入导出业务复杂，出现问题的地方就不局限于上面的这几个点，开发中如果是优化的话，那也无法抛开复杂的业务场景而单纯的去讨论导入导出的功能。曾经就亲身经历过业务员导入7W条数据跑好几个小时，同步导出10W条数据接口超时。如果没有业务逻辑从中作梗；单纯的导入和导出10W条数据还是很轻松的。总之，导出导入功能如果追求效率，就需要往多线程上靠；必要的话，还需要进行异步操作。
java线程池使用easyexcel导出百万数据
06-06
好的，针对您的问题，我可以给出以下的解答： 在使用 EasyExcel 导出大数据量时，可以通过 Java 线程池来提高导出的效率。具体的流程如下： 1. 定义一个线程池，例如： ```java ExecutorService executorService = Executors.newFixedThreadPool(5); ``` 2. 将数据分批处理，每个批次使用一个线程进行处理。例如： ```java List<List<Object>> dataList = new ArrayList<>(); // 将数据分成1000条一批进行处理 int batchSize = 1000; for (int i = 0; i < dataList.size(); i += batchSize) { int fromIndex = i; int toIndex = Math.min(i + batchSize, dataList.size()); List<List<Object>> subList = dataList.subList(fromIndex, toIndex); executorService.execute(() -> { // 在这里进行每个批次的数据处理和导出 }); } ``` 3. 在每个线程中进行 EasyExcel 的导出操作。例如： ```java ExcelWriter excelWriter = EasyExcel.write(filePath).build(); WriteSheet writeSheet = EasyExcel.writerSheet(sheetName).build(); excelWriter.write(dataList, writeSheet); excelWriter.finish(); ``` 通过以上的方式，可以将大数据量的导出效率得到提升。同时，需要注意的是，如果数据量过大，需要考虑内存和磁盘空间的限制，可以采用分页查询的方式来降低内存的使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值