一、概述
EasyExcel：
阿里开源：关于Easyexcel | Easy Excel 官网
Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。
easyexcel重写了poi对07版Excel的解析，一个3M的excel用POI sax解析依然需要100M左右内存，改用easyexcel可以降低到几M，并且再大的excel也不会出现内存溢出；03版依赖POI的sax模式，在上层做了模型转换的封装，让使用者更加简单方便
节约内存
二、导出excel
三种方式：
方法1: 如果写到同一个sheet
方法2: 如果写到不同的sheet 同一个对象
方法3 如果写到不同的sheet 不同的对象
/**
* 重复多次写入
* <p>
* 1. 创建excel对应的实体对象 参照{@link ComplexHeadData}
* <p>
* 2. 使用{@link ExcelProperty}注解指定复杂的头
* <p>
* 3. 直接调用二次写入即可
*/
@Test
public void repeatedWrite() {
// 方法1: 如果写到同一个sheet
String fileName = TestFileUtil.getPath() + "repeatedWrite" + System.currentTimeMillis() + ".xlsx";
// 这里 需要指定写用哪个class去写
try (ExcelWriter excelWriter = EasyExcel.write(fileName, DemoData.class).build()) {
// 这里注意 如果同一个sheet只要创建一次
WriteSheet writeSheet = EasyExcel.writerSheet("模板").build();
// 去调用写入,这里我调用了五次，实际使用时根据数据库分页的总的页数来
for (int i = 0; i < 5; i++) {
// 分页去数据库查询数据 这里可以去数据库查询每一页的数据
List<DemoData> data = data();
excelWriter.write(data, writeSheet);
}
}
// 方法2: 如果写到不同的sheet 同一个对象
fileName = TestFileUtil.getPath() + "repeatedWrite" + System.currentTimeMillis() + ".xlsx";
// 这里 指定文件
try (ExcelWriter excelWriter = EasyExcel.write(fileName, DemoData.class).build()) {
// 去调用写入,这里我调用了五次，实际使用时根据数据库分页的总的页数来。这里最终会写到5个sheet里面
for (int i = 0; i < 5; i++) {
// 每次都要创建writeSheet 这里注意必须指定sheetNo 而且sheetName必须不一样
WriteSheet writeSheet = EasyExcel.writerSheet(i, "模板" + i).build();
// 分页去数据库查询数据 这里可以去数据库查询每一页的数据
List<DemoData> data = data();
excelWriter.write(data, writeSheet);
}
}
// 方法3 如果写到不同的sheet 不同的对象
fileName = TestFileUtil.getPath() + "repeatedWrite" + System.currentTimeMillis() + ".xlsx";
// 这里 指定文件
try (ExcelWriter excelWriter = EasyExcel.write(fileName).build()) {
// 去调用写入,这里我调用了五次，实际使用时根据数据库分页的总的页数来。这里最终会写到5个sheet里面
for (int i = 0; i < 5; i++) {
// 每次都要创建writeSheet 这里注意必须指定sheetNo 而且sheetName必须不一样。这里注意DemoData.class 可以每次都变，我这里为了方便 所以用的同一个class
// 实际上可以一直变
WriteSheet writeSheet = EasyExcel.writerSheet(i, "模板" + i).head(DemoData.class).build();
// 分页去数据库查询数据 这里可以去数据库查询每一页的数据
List<DemoData> data = data();
excelWriter.write(data, writeSheet);
}
}
}
三、文件写入
四种方式：
@PostMapping("/add")
public void simpleRead() {
// 写法1：JDK8+ ,不用额外写一个DemoDataListener
// since: 3.0.0-beta1
String fileName = "demo" + File.separator + "demo.xlsx";
// 这里默认每次会读取100条数据 然后返回过来 直接调用使用数据就行
// 具体需要返回多少行可以在`PageReadListener`的构造函数设置
EasyExcel.read(fileName, Partner.class, new PageReadListener<Partner>(dataList -> {
for (Partner partner : dataList) {
log.info("读取到一条数据{}", JSON.toJSONString(partner));
}
})).sheet().doRead();
// 写法2：
// 匿名内部类 不用额外写一个DemoDataListener
fileName = "demo" + File.separator + "demo.xlsx";
// 这里 需要指定读用哪个class去读，然后读取第一个sheet 文件流会自动关闭
EasyExcel.read(fileName, Partner.class, new ReadListener<Partner>() {
/**
* 单次缓存的数据量
*/
public static final int BATCH_COUNT = 100;
/**
*临时存储
*/
private List<Partner> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
@Override
public void invoke(Partner data, AnalysisContext context) {
cachedDataList.add(data);
if (cachedDataList.size() >= BATCH_COUNT) {
saveData();
// 存储完成清理 list
cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
}
}
@Override
public void doAfterAllAnalysed(AnalysisContext context) {
saveData();
}
/**
* 加上存储数据库
*/
private void saveData() {
log.info("{}条数据，开始存储数据库！", cachedDataList.size());
log.info("存储数据库成功！");
}
}).sheet().doRead();
// 有个很重要的点 DemoDataListener 不能被spring管理，要每次读取excel都要new,然后里面用到spring可以构造方法传进去
// 写法3：
fileName ="demo" + File.separator + "demo.xlsx";
// 这里 需要指定读用哪个class去读，然后读取第一个sheet 文件流会自动关闭
EasyExcel.read(fileName, Partner.class, new DemoDataListener()).sheet().doRead();
// 写法4
fileName ="demo" + File.separator + "demo.xlsx";
// 一个文件一个reader
try (ExcelReader excelReader = EasyExcel.read(fileName, Partner.class, new DemoDataListener()).build()) {
// 构建一个sheet 这里可以指定名字或者no
ReadSheet readSheet = EasyExcel.readSheet(0).build();
// 读取一个sheet
excelReader.read(readSheet);
}
}
第三种、第四种需要监听器：
// 有个很重要的点 DemoDataListener 不能被spring管理，要每次读取excel都要new,然后里面用到spring可以构造方法传进去
@Slf4j
public class DemoDataListener implements ReadListener<Partner> {
/**
* 每隔5条存储数据库，实际使用中可以100条，然后清理list ，方便内存回收
*/
private static final int BATCH_COUNT = 100;
/**
* 缓存的数据
*/
private List<Partner> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
/**
* 假设这个是一个DAO，当然有业务逻辑这个也可以是一个service。当然如果不用存储这个对象没用。
*/
private Partner partner;
public DemoDataListener() {
// 这里是demo，所以随便new一个。实际使用如果到了spring,请使用下面的有参构造函数
partner = new Partner();
}
/**
* 如果使用了spring,请使用这个构造方法。每次创建Listener的时候需要把spring管理的类传进来
*
* @param partner
*/
public DemoDataListener(Partner partner) {
this.partner = partner;
}
/**
* 这个每一条数据解析都会来调用
*
* @param data one row value. Is is same as {@link AnalysisContext#readRowHolder()}
* @param context
*/
@Override
public void invoke(Partner data, AnalysisContext context) {
log.info("解析到一条数据:{}", JSON.toJSONString(data));
cachedDataList.add(data);
// 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
if (cachedDataList.size() >= BATCH_COUNT) {
saveData();
// 存储完成清理 list
cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
}
}
/**
* 所有数据解析完成了 都会来调用
*
* @param context
*/
@Override
public void doAfterAllAnalysed(AnalysisContext context) {
// 这里也要保存数据，确保最后遗留的数据也存储到数据库
saveData();
log.info("所有数据解析完成！");
}
/**
* 加上存储数据库
*/
private void saveData() {
log.info("{}条数据，开始存储数据库！", cachedDataList.size());
partner.save(cachedDataList);
log.info("存储数据库成功！");
}
}
四、场景案列
1、文件写入
接口配置：
@PostMapping("/import")
public void importExcel(@RequestParam("file") MultipartFile file) throws IOException {
log.info("处理导入请求");
if (!file.isEmpty()) {
// 获取上传文件的原始名称
String originalFilename = file.getOriginalFilename();
// 临时文件路径，可以根据实际情况调整，就是linux或者windows对应路径
String tempPath = "D:\\ideaWorkSpace\\qdf_java\\" + originalFilename;
// 将上传的Excel文件写入临时文件
try (BufferedOutputStream outputStream = new BufferedOutputStream(new FileOutputStream(tempPath))) {
byte[] bytes = file.getBytes();
outputStream.write(bytes);
}
// 使用临时文件路径进行数据读取
String fileName = tempPath;
EasyExcel.read(fileName, Partner.class, new PageReadListener<Partner>(dataList -> {
partnerService.patchAdd(dataList);
for (Partner partner : dataList) {
log.info("读取到一条数据{}", JSON.toJSONString(partner));
}
})).sheet().doRead();
// 可选：在操作完成后删除临时文件（如果不打算保留）
Files.deleteIfExists(Paths.get(fileName));
} else {
throw new RuntimeException("上传的文件为空");
}
}
2、文件写出
接口配置：
@GetMapping("/export")
public ResponseEntity<byte[]> repeatedWrite1() {
log.info("处理导出请求");
int pageSize = 500;
ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
try (ExcelWriter excelWriter = EasyExcel.write(byteArrayOutputStream, Partner.class).build()) {
WriteSheet writeSheet = EasyExcel.writerSheet("模板").build(); //sheet名称
int totalPageCount = partnerService.getTotalPageCount(pageSize); // 总页码
System.out.println("totalPageCount:" + totalPageCount);
for (int i = 0; i < totalPageCount; i++) {
// 分页去数据库查询数据
List<Partner> data = partnerService.findPartnersByPage(i, pageSize); // 查出每页数据
log.info("第" + (i+1) + "页数据条数：" + data.size());
// 将数据写入内存中的ExcelWriter
excelWriter.write(data, writeSheet);
}
} catch (Exception e) {
log.error("导出Excel时发生错误", e);
return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).build();
}
// 将内存中的Workbook转换为字节数组
byte[] excelBytes = byteArrayOutputStream.toByteArray();
// 设置HTTP响应头，告知浏览器这是一个需要下载的文件
HttpHeaders headers = new HttpHeaders();
headers.add(HttpHeaders.CONTENT_DISPOSITION, "attachment; filename=repeatedWrite1_" + System.currentTimeMillis() + ".xlsx");
headers.setContentType(MediaType.APPLICATION_OCTET_STREAM);
// 返回包含Excel内容的ResponseEntity，浏览器将下载文件
return ResponseEntity.ok().headers(headers).body(excelBytes);
}
浏览器直接响应弹框,以下为接口测试：
3、实体类注解配置
详细注解看官网：https://easyexcel.opensource.alibaba.com/docs/
@Data
public class Partner extends BaseDomain{
@ExcelProperty("合伙人区域ID")
private Long id;
/**
* 合伙人id
*/
@ExcelProperty("管理员ID")
private Long adminId;
/**
* 密钥
*/
@ExcelIgnore // 忽略的字段
private String secretKey;
7082
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
