使用easyExcel导出大量数据

目录

1. easyExcel介绍

  EasyExcel是阿里巴巴开源的一个excel处理框架，以使用简单、节省内存著称。EasyExcel能大大减少占用内存的主要原因是在解析Excel时没有将文件数据一次性全部加载到内存中，而是从磁盘上一行行读取数据，逐个解析。

[返回目录]

2. EasyExcel特点

  java领域解析、生成Excel比较有名的框架有Apache，poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行，但是一旦并发上来后一定会OOM或者JVM频繁的full gc。
  EasyExcel采用一行一行的解析模式，并将一行的解析结果以观察者的模式通知处理（AnalysisEventListener）。
  EasyExcel是一个基于Java的简单、省内存的读写Excel的开源项目。在尽可能节约内存的情况下支持读写百M的Excel。

[返回目录]

3. Excel基本术语介绍

1.整个excel称为：workbook

2.每个workbook里面有很多sheet

[返回目录]

4. 使用展示

1.测试入口
http://localhost:8098/applicationserve/doc.html

2.监听导入的数据

3.写入数据个数

4.写入数据时长

5.excel效果，每页50000个，分多个sheet

[返回目录]

5. 代码说明

1.引入pom文件

    <!--easyexcel-->
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>easyexcel</artifactId>
        <version>3.0.5</version>
    </dependency>

2.创建导入数据的对象

@Data
@Builder
@AllArgsConstructor
@NoArgsConstructor
public class 查询字段Import {

    @ApiModelProperty(value = "查询xxx")
    private String 查询字段;
}

3.解析导入的数据

// controller层
@Override
@PostMapping(value = "/exportSplit", headers = "content-type=multipart/form-data")
@ApiOperation(value = "导出xxx")
@HystrixCommand(fallbackMethod = "exportSplitFail", commandProperties = @HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds", value = "3000000"))
public OutDTO<String> exportSplit(@RequestPart("file") MultipartFile file) {
    OutDTO<String> listOutDTO = new OutDTO<>();
    try {
        List<XxxxImport> xxxs = xxxxSvc.importSscflow(file.getInputStream());
} catch (Exception e) {
        listOutDTO.setBodyOutData("fail" + e.getMessage());
        e.printStackTrace();
    }
    return listOutDTO;
}

// service层
/**
 * @Description: 解析导入的数据
 * @Return:
 * @Author: 作者
 * @Date: 2023/1/8 2:29 下午
 * @Param: [io]
 **/
public List<XxxxImport> importSscflow(InputStream io) {
    DataEasyExcelListener<XxxImport> listener = new DataEasyExcelListener<>();
    EasyExcel.read(io, XxxxImport.class, listener).sheet(0).doRead();
    List<XxxImport> data = listener.getData();
    return data;
}
    
// 监听导入文件内容的工具类
@Component
@Slf4j
public class DataEasyExcelListener<T> extends AnalysisEventListener {

    private List<T> list = new ArrayList<>();
    
    @Override
    public void invoke(Object data, AnalysisContext analysisContext) {
        log.info("解析到一条数据:{}", data);
        list.add((T) data);
    }
    
    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        log.info("所有数据解析完成！");
    }
    
    public List<T> getData() {
        return list;
    }
}

4.完成数据查询，数据写入excel表格

// 创建导出数据对象
@Data
@Builder
@AllArgsConstructor
@NoArgsConstructor
@ToString
public class XxxxYxxxExp {

    @ExcelProperty("Xxxx")
    private String 字段;
    、、、
}

// 数据写入表格
@Service
@DSSelect("数据库")
@Slf4j
@PropertySource(value = "classpath:application.properties", encoding = "utf-8")
public class XxxxSvc {

    @Value("${maxRows}")
    private int 每页最大行数;
    @Value("${pbSplitPath}")
    private String 导出位置;

    /**
     * @Description: 生成excel表格
     * @Return:
     * @Author: 作者
     * @Date: 2023/1/8 2:30 下午
     * @Param: [res, path]
     **/
    public void printByEasy(List<XxxxYxxxExp> res) {
        ExcelWriter excelWriter = null;
        try {
            excelWriter = EasyExcel.write(pbSplitPath + System.currentTimeMillis() + ".xlsx", XxxxYxxxExp.class).build();
            // 分割的集合
            List<List<XxxxYxxxExp>> lists = SplitList.splitList(res, maxRows); 
            for (int i = 0; i < lists.size(); i++) {
                WriteSheet writeSheet = EasyExcel.writerSheet("拆分预算sheet" + i).build();
                List<XxxxYxxxExp> xxxxYxxxExps = lists.get(i);
                excelWriter.write(xxxxYxxxExps, writeSheet);
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (excelWriter != null) {
                excelWriter.finish();
            }
        }
    }
}
    
//切分集合工具类
@Component
public class SplitList {
    /**
     * @Description: 切分数据 
     * @Return: 
     * @Author: 作者
     * @Date: 2023/1/8 3:50 下午
     * @Param: [list, len]
     **/
    public <T> List<List<T>> splitList(List<T> list, int len) {
        if (list == null || list.size() == 0 || len < 1) {
            return null;
        }
        List<List<T>> result = new ArrayList<>();
        int size = list.size();
        int count = (size + len - 1) / len;

        for (int i = 0; i < count; i++) {
            List<T> subList = list.subList(i * len, ((i + 1) * len > size ? size : len * (i + 1)));
            result.add(subList);
        }
        return result;
    }
}