使用【Easypoi】实现百万数据导出

本文使用easypoi实现百万级数据导出

---

前言

下文实现了通过easypoi实现将百万级数据导出

一、一般情况下导出

一般导出流程（简单导出）：

1. 创建对应的实体类（使用easypoi，easyexcel这种）
2. 数据库查询对应的数据
3. 通过API封装方法进行导出

可能导致问题：

如果数据库导出数据量大的情况下
1、数据库查询耗时
2、内存溢出（将所有数据全部查询出来会占用大量内存空间）

二、解决思路

1、数据分页获取
2、迭代式数据导出（通过第一步分页获取的数据分批次去写入excel）

三、实现步骤

注意：以下实现 Mapper就不展示了，就一个普通查询

导入依赖

<dependency>
     <groupId>cn.afterturn</groupId>
     <artifactId>easypoi-web</artifactId>
     <version>4.4.0</version>
 </dependency>

重写方法

重写IExcelExportServer的selectListForExcelExport()方法
1、创建一个自己的类，用于实现IExcelExportServer接口，实现我们自己的分页查询数据方法

@Slf4j
@Service
public class EnExportServiceImpl implements IExcelExportServer {

    @Autowired
    private EnTestMapper enTestMapper;

    /**
     * 实现IEnTestService接口，重写selectListForExcelExport方法，源码中会循环调用该方法去写入
     * @param queryParams；查询入参
     * @param pageNo：当前页
     * @return
     */
    @Override
    public List<Object> selectListForExcelExport(Object queryParams, int pageNo) {
        EnTestSearchFom searchFom = (EnTestSearchFom) queryParams;
        //定义分页条数（每次只查询指定条数，防止内存溢出）
        Page page = new Page(pageNo,100000);
        //使用mybatis-plus分页插件分页，此处就是一个普通分页查询
        IPage<EnTest> iPage = enTestMapper.pageList(page, searchFom);
        List records = iPage.getRecords();
        log.info("当前页：{}",pageNo);
        return records;
    }
}

以上其实最关键的方法已经实现了，后续只需要调用easypoi提供的大数据导出即可。

调用实现

public class ChartsController {
	//我们重写的类
	@Autowired
    private EnExportServiceImpl enExportServiceImpl;

	@GetMapping("/export")
    public void export(HttpServletRequest request, HttpServletResponse response){
        ExportParams exportParams = new ExportParams(null,"测试", ExcelType.XSSF);
        //selectListForExcelExport方法中的Object queryParams参数
        EnTestSearchFom searchFom = new EnTestSearchFom();
        Workbook workbook = ExcelExportUtil.exportBigExcel(exportParams, EnTest.class, enExportServiceImpl, searchFom);
        responseWorkbook(response,workbook,"导出数据.xlsx");
        
    }
	/**
     * 导出 Excel
     *
     * @param response
     * @param workbook
     * @param fileName
     */
    private static void responseWorkbook(HttpServletResponse response, Workbook workbook, String fileName) {
        try {
            response.setHeader("Content-disposition", "attachment;" + "filename*=utf-8''" + URLEncoder.encode(fileName, "UTF-8"));
            response.setContentType("application/octet-stream; charset=UTF-8");
            workbook.write(response.getOutputStream());
            workbook.close();
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }

}

---

结束