easyexcel替换poi导出大数据量数据时解决内存溢出问题时的一个性能测试

4 篇文章 0 订阅

最近在项目中遇到导出大量数据到excel时发生内存溢出问题,然后看网上有人说用阿里开源的easyexcel性能非常好,我就在本地做了一个关于easyexcel和poi导出100w条一样数据时占用内存情况的测试,内存情况及GC情况用JDK自带的visualVM进行监控。

  • 首先是poi的导出内存情况及代码示例:
public class PoiDemo {
    public static void main(String[] args) {
        Workbook w = new XSSFWorkbook();
        Sheet sheet = w.createSheet();
        List<Student> students = new ArrayList<>();
        for (int i = 0; i < 1000000; i++) {
            Row row = sheet.createRow(i);
            Student student = new Student();
            student.setAge("age:"+i);
            student.setDay("day:"+i);
            student.setHeight("height:"+i);
            student.setMonth("month:"+i);
            student.setName("name:"+i);
            student.setWeight("weight:"+i);
            student.setYear("year:"+i);
            students.add(student);
            row.createCell(0).setCellValue(student.getAge());
            row.createCell(1).setCellValue(student.getDay());
            row.createCell(2).setCellValue(student.getHeight());
            row.createCell(3).setCellValue(student.getMonth());
            row.createCell(4).setCellValue(student.getName());
            row.createCell(5).setCellValue(student.getWeight());
            row.createCell(6).setCellValue(student.getYear());
        }
        String filePath = "D:\\easyExcel.xlsx";
        try {
            FileOutputStream fileOutputStream = new FileOutputStream(filePath);
            w.write(fileOutputStream);
            fileOutputStream.close();
        } catch (Exception e) {
            e.printStackTrace();
        }

    }
}

运行情况:
在这里插入图片描述
这个是我运行了近两分钟的情况,可以看到运行25秒后堆空间基本已经无法扩容而且GC也回收不了其他对象了,这样运行下去肯定会OOM了。测试结果表明POI导出100w条数据占用堆内存肯定超过3000多M的。

  • 再看easyexcel的导出情况和代码示例:
public class EasyDemo {
    public static void main(String[] args) {
        List<Student> students = new ArrayList<>();
        for (int i = 0; i < 1000000; i++) {
            Student student = new Student();
            student.setAge("age:"+i);
            student.setDay("day:"+i);
            student.setHeight("height:"+i);
            student.setMonth("month:"+i);
            student.setName("name:"+i);
            student.setWeight("weight:"+i);
            student.setYear("year:"+i);
            students.add(student);
        }
        String filePath = "D:\\easyExcel.xlsx";
        EasyExcel.write(filePath,Student.class).sheet("测试1").doWrite(students);
    }
}

运行情况:
在这里插入图片描述

可以看到只用14秒的时间就完成了100w数据量的导出,并且内存只占用了750M的样子,性能确实非常好。所以导出大数据量数据时可以使用easyexcel,还是比较好用的。

  • 最好附上easyexcel的maven仓库地址
<dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>easyexcel</artifactId>
            <version>2.2.6</version>
</dependency>

实体类代码:

public class Student {
    private String name;
    private String age;
    private String height;
    private String weight;
    private String year;
    private String month;
    private String day;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getAge() {
        return age;
    }

    public void setAge(String age) {
        this.age = age;
    }

    public String getHeight() {
        return height;
    }

    public void setHeight(String height) {
        this.height = height;
    }

    public String getWeight() {
        return weight;
    }

    public void setWeight(String weight) {
        this.weight = weight;
    }

    public String getYear() {
        return year;
    }

    public void setYear(String year) {
        this.year = year;
    }

    public String getMonth() {
        return month;
    }

    public void setMonth(String month) {
        this.month = month;
    }

    public String getDay() {
        return day;
    }

    public void setDay(String day) {
        this.day = day;
    }
}

  • 4
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
### 回答1: EasyExcel一个基于Java的简单易用的Excel操作工具,它提供了批数据导出的功能。 在大数据导出EasyExcel具有以下优点: 1. 速度快:EasyExcel采用了基于事件模型的解析方式,可以处理非常大的Excel文件而不会引起内存溢出。它可以将数据直接写到OutputStream中,避免了频繁的IO操作,因此导出速度非常快。 2. 内存消耗较低:EasyExcel使用了一种流式写入的方式,将数据逐行写入Excel文件,这样可以很好地控制内存的消耗。即使处理非常大的数据集,也不会出现内存溢出问题。 3. 支持多种数据源:EasyExcel支持从各种数据源中读取数据,如数据库、集合、文件等,并可以将数据导出Excel中。这样可以满足不同场景下的数据导出需求。 4. 操作简单:EasyExcel提供了简单易用的API,可以方便地配置导出的格式、样式、列宽等。同,它还支持导出多个Sheet,可以根据具体需求进行灵活配置。 5. 良好的兼容性:EasyExcelExcel文件的兼容性非常好,支持导出.xlsx和.xls格式的文件,同还支持设置密码、加密和设置单元格样式等功能。这样可以满足不同用户的需求。 无论是导出数据还是大数据EasyExcel都能够快速高效地完成任务。它的简单易用性、低内存消耗和良好的兼容性使其成为处理大数据导出的理想工具。 ### 回答2: EasyExcel是一款用于Excel文件读写操作的Java工具库,它提供了简单易用的API以实现大数据导出功能。以下是使用EasyExcel进行大数据导出的步骤: 1. 引入EasyExcel库:首先需要在Java项目中引入EasyExcel的依赖库,可以通过Maven或者Gradle等构建工具进行引入。 2. 创建导出模板:在Excel文件中,先创建一个模板,定义好数据的表头和格式。可以指定每列的标题、列宽、格式等,以满足不同的需求。 3. 构建数据源:准备好需要导出数据源,可以通过数据库查询、文件读取等方式获取数据。 4. 创建导出任务:使用EasyExcel的API创建一个导出任务,并指定导出Excel文件路径、模板等参数。 5. 填充数据:通过遍历数据源,将数据逐行填充到Excel文件中。可以使用EasyExcel提供的write方法将数据写入到指定的Sheet中。 6. 设置样式和格式:根据需求,可以对导出数据进行样式和格式的设置,如设置单元格的字体、背景色、边框等。 7. 执行导出操作:执行导出任务,通过调用EasyExcel的API将数据写入到Excel文件中。 8. 导出结果处理:根据导出的结果进行相应的处理,如判断是否导出成功、记录日志等。 使用EasyExcel进行大数据导出的优势在于其简洁易用的API,可以轻松处理大数据导出需求。同EasyExcel导出速度较快,可以高效地处理大规模的数据导出任务。另外,EasyExcel对于复杂的数据格式和样式也有很好的支持,可以满足不同场景下的导出需求。 ### 回答3: EasyExcel是一款简单易用的Java Excel工具类库,广泛应用于数据导出和导入的场景。对于大数据导出EasyExcel提供了高效的解决方案。 首先,EasyExcel采用了基于流式操作的方式来处理数据导入导出,不会一次性将所有数据读入内存,而是通过分批加载数据,减小了内存的占用。这样即使数据很大,也能够快速导出。 其次,EasyExcel通过多线程的方式来提升导出速度。通过配置线程数,可以将任务分发给多个线程同处理,加快导出的速度。同EasyExcel还支持设置每个线程处理的数据,可以根据服务器性能进行灵活调整,进一步提高导出效率。 另外,EasyExcel还支持将导出任务拆分为多个子任务进行处理,可以将数据按照某种规则或条件进行拆分,每个子任务独立导出。这样可以充分利用服务器的多核资源,加速导出进程。 总之,EasyExcel通过分批加载数据、多线程处理和子任务拆分等方式,有效解决了大数据导出问题。无论是导出百万、千万、亿级的数据,都能够高效快速地完成导出任务。同EasyExcel还提供了丰富的API和灵活的配置,方便开发者根据具体需求进行定制。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值