easypoi大量数据导出,解决oom的问题,分多个sheet导出

使用easypoi一次性导出大量数据时,会出现oom的问题,有两种解决方式,一种是分页导出,数据查询使用分页,然后将分页的数据放到不同的sheet中;第二种呢就是使用SXSSFWorkbook,SXSSFWorkbook可以实现百万级数据导出。

分页导出

分页导出呢,就比较麻烦一点。

分页的方式两两种,需要实现的效果都是为了将全部数据分开放到多个sheet。所以这些数据你可以一次性全部查询出来,再对数据进行分页放到不同sheet中;也可以分页查询数据,将查出来的数据放到不同sheet中。

看自己觉得哪一种方法更好一点,我自己用的是分页查询数据的方式:

/**
 * 列表导出
 */
public void pageExport(Map<String,Object> map, HttpServletResponse response){
    int pageSize = 10000; // 一万条数据一个sheet
    int pageNum = 1;
    map.put("pageSize",String.valueOf(pageSize));
    map.put("pageNum",String.valueOf(pageNum));
    PageInfo<SysUser> page = page(map); // 分页查询数据
    long total = page.getTotal(); // 得到总数据量
    List<SysUser> list1 = page.getList();
    // 计算总页数
    pageNum = (int) (total % pageSize == 0 ? total / pageSize : total / pageSize + 1);

    // 每一个sheet储存的数据
    List<Map<String, Object>> sheetsList = new LinkedList<>();
	// 设置sheet配置样式
    ExportParams params = new ExportParams(null,"Sheet1",ExcelType.XSSF);
    params.setTitleHeight((short) 12);
    params.setStyle(ExcelStyleUtil.class); // 设置基础样式,ExcelStyleUtil为自定义的样式工具类
    // 以下3个参数为API中写死的参数名 分别是sheet配置/导出类(注解定义)/数据集
    Map<String, Object> exportMap = MapUtil.builder(new HashMap<String, Object>()).put("title",params).put("entity", SysUser.class).put("data", list1).build();
    sheetsList.add(exportMap);
    for (int i = 2; i <= pageNum; i++) {
        map.put("pageNum",String.valueOf(i));
        List<SysUser> listi = page(map).getList();
        ExportParams param = new ExportParams(null,"Sheet"+i,ExcelType.XSSF);
        param.setTitleHeight((short) 12);
        param.setStyle(ExcelStyleUtil.class);
        exportMap = MapUtil.builder(new HashMap<String, Object>()).put("title",param).put("entity", SysUser.class).put("data", listi).build();
        // 加入多sheet配置列表
        sheetsList.add(exportMap);
    }
    Workbook workbook = ExcelExportUtil.exportExcel(sheetsList, ExcelType.XSSF);
    ExcelUtil.downLoadExcel("列表数据",response,workbook);
}

虽然上面这段代码能实现导出了,不会报oom了,但是导出还是很慢很慢,当然,数据库查询慢占主要原因。

使用SXSSFWorkbook

第二种方式呢,就没有那么麻烦了,不用分页,一次性在一张sheet里,导出全部数据。

查询数据的时候,同样可以选择分页查询或一次性查询,分页查询就需要将每一页查出来的数据先存起来,等查完了全部数据,再调导出的方法。

/**
 * 列表导出
 */
public void pageExport(Map<String,Object> map, HttpServletResponse response){
    int pageSize = 10000;
    int pageNum = 1;
    map.put("pageSize",String.valueOf(pageSize));
    map.put("pageNum",String.valueOf(pageNum));
    PageInfo<SysUser> page = page(map);
    long total = page.getTotal();
    pageNum = (int) (total % pageSize == 0 ? total / pageSize : total / pageSize + 1);
    List<SysUser> dataList = new ArrayList<>();
    dataList.addAll(page.getList());
    for (int i = 2; i <= pageNum; i++) {
        map.put("pageNum",String.valueOf(i));
        List<SysUser> list = page(map).getList();
        dataList.addAll(list);
    }
    ExcelUtil.exportBigExcel(dataList,null,"Sheet1",SysUser.class,"列表导出",response);
}
/**
 * excel 导出大数据
 * @param list           数据
 * @param title          标题
 * @param sheetName      sheet名称
 * @param pojoClass      pojo类型
 * @param fileName       文件名称
 */
public static void exportBigExcel(List<?> list, String title, String sheetName, Class<?> pojoClass, String fileName, HttpServletResponse response){
    ExportParams params = new ExportParams(title,sheetName, ExcelType.XSSF);
    params.setTitleHeight((short) 12);
    params.setStyle(ExcelStyleUtil.class);
    IWriter<Workbook> writer = ExcelExportUtil.exportBigExcel(params, pojoClass);
    writer.write(list);
    SXSSFWorkbook workbook = (SXSSFWorkbook) writer.get();
    ExcelUtil.downLoadExcel(fileName,response,workbook);
    writer.close();
    workbook.dispose();
}

最后我选择的是用第二种方式SXSSFWorkbook导出。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

符华-

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值