excel导出_java 导出 excel 最佳实践

产品需求

产品经理需要导出一个页面的所有的信息到 EXCEL 文件。

需求分析

对于 excel 导出，是一个很常见的需求。

最常见的解决方案就是使用 poi 直接同步导出一个 excel 文件。

客户体验 & 服务性能

• 客户体验

如果导出的文件比较大，比如几十万条数据，同步导出页面就会卡主，用户无法进行其他操作。

• 服务性能

导出的时候，任务比较耗时就会阻塞主线程。

如果导出的服务是暴露给外部(前后端分离)，这种大量的数据传输十分消耗性能。

解决方案

使用异常处理导出请求，后台 MQ 通知自己进行处理。

MQ 消费之后，多线程处理 excel 文件导出，生成文件后上传到 FTP 等文件服务器。

前端直接查询并且展现对应的任务执行列表，去 FTP 等文件服务器下载文件即可。

EXCEL 导出需要考虑的问题

OOM

正常的 poi 在处理比较大的 excel 的时候，会出现内存溢出。

网上的解决方案也比较多。

比如官方的 SXSSF (Since POI 3.8 beta3) 解决方式。

或者使用封装好的包

1. easypoi ExcelBatchExportServer
2. hutool BigExcelWriter

原理都是强制使用 xssf 版本的Excel。

你也可以使用 easyexcel，当然这个注释文档有些欠缺，而且设计的比较复杂，不是很推荐。

我这里使用的是 hutool BigExcelWriter， 懒得自己再写一遍。

FULL GC

如果一次查询 100W 条数据库，然后把这些信息全部加载到内存中，是不可取的。

建议有2个：

1. 限制每一次分页的数量。比如一次最多查询 1w 条。分成 100 次查询。(必须)
2. 限制查询得总条数。比如限制为最多 10W 条。(根据实际情况选择)

虽然使用者提出要导出类似于 3 个月的所有信息，但是数量太多，毫无意义。(提出者自己可能体会不到)

尽量避免 FULL-GC 的情况发生，因为目前的所有方式对于 excel 的输出流都会占用内存，100W 条很容易导致 FULL-GC。

数据库的压力

去数据库读取的时候一定要记得分页，免得给数据库太大的压力。

一次读取太多，也会导致内存直线上升。

比如 100W 条数据，则分成 100 次去数据库读取。

网络传输

传统的 excel 导出，都是前端一个请求，直接 HTTP 同步返回。导出 100W 条，就在那里傻等。

这客户体验不友好，而且网络传输，系统占用多种问题。

建议使用异步处理的方式，将文件上传到文件服务器。前端直接去文件服务器读取。

编程的便利性

对于上面提到的工具，比如 Hutool，在表头的处理方面没法很方便的统一。

你可以自己定义类似于 easypoi/easyexcel 中的注解，自己反射解析。

然后统一处理表头即可。

项目简介

IExcel 用于优雅地读取和写入 excel。

避免大 excel 出现 oom，简约而不简单。

特性

• 一行代码搞定一切
• OO 的方式操作 excel，编程更加方便优雅。
• sax 模式读取，SXSS 模式写入。避免 excel 大文件 OOM。
• 基于注解，编程更加灵活。
• 设计简单，注释完整。方便大家学习改造。
• 可根据注解指定表头顺序
• 支持 excel 文件内容 bytes[] 内容获取，便于用户自定义操作。

创作缘由

实际工作和学习中，apache poi 操作 excel 过于复杂。

近期也看了一些其他的工具框架：

• easypoi
• easyexcel
• hutool-poi

都或多或少难以满足自己的实际需要，于是就自己写了一个操作 excel 导出的工具。

实现：在阿里 easyexcel 的基础上进行封装，提升使用的简易度。

快速开始

环境要求

jdk1.7+

maven 3.x

引入 jar

使用 maven 管理。

com.github.houbb     iexcel     0.0.8

Excel 写入

示例

// 基本属性final String filePath = PathUtil.getAppTestResourcesPath()+"/excelHelper.xls";List models = User.buildUserList();// 直接写入到文件ExcelHelper.write(filePath, models);

其中：

• User.java

public class User {    private String name;    private int age;    //fluent getter/setter/toString()}

• buildUserList()

构建对象列表方法如下：

/** * 构建用户类表 * @return 用户列表 * @since 0.0.4 */public static List buildUserList() {    List users = new ArrayList<>();    users.add(new User().name("hello").age(20));    users.add(new User().name("excel").age(19));    return users;}

写入效果

excel 内容生成为：

name    agehello   20excel   19

Excel 读取

示例

final String filePath = PathUtil.getAppTestResourcesPath()+"/excelHelper.xls";List userList = ExcelHelper.read(filePath, User.class);

信息

[User{name='hello', age=20}, User{name='excel', age=19}]