使用easypoi一次性导出大量数据时,会出现oom的问题,有两种解决方式,一种是分页导出,数据查询使用分页,然后将分页的数据放到不同的sheet中;第二种呢就是使用SXSSFWorkbook,SXSSFWorkbook可以实现百万级数据导出。
分页导出
分页导出呢,就比较麻烦一点。
分页的方式两两种,需要实现的效果都是为了将全部数据分开放到多个sheet。所以这些数据你可以一次性全部查询出来,再对数据进行分页放到不同sheet中;也可以分页查询数据,将查出来的数据放到不同sheet中。
看自己觉得哪一种方法更好一点,我自己用的是分页查询数据的方式:
/**
* 列表导出
*/
public void pageExport(Map<String,Object> map, HttpServletResponse response){
int pageSize = 10000; // 一万条数据一个sheet
int pageNum = 1;
map.put("pageSize",String.valueOf(pageSize));
map.put("pageNum",String.valueOf(pageNum));
PageInfo<SysUser> page = page(map); // 分页查询数据
long total = page.getTotal(); // 得到总数据量
List<SysUser> list1 = page.getList();
// 计算总页数
pageNum = (int) (total % pageSize == 0 ? total / pageSize : total / pageSize + 1);
// 每一个sheet储存的数据
List<Map<String, Object>> sheetsList = new LinkedList<>();
// 设置sheet配置样式
ExportParams params = new ExportParams(null,"Sheet1",ExcelType.XSSF);
params.setTitleHeight((short) 12);
params.setStyle(ExcelStyleUtil.class); // 设置基础样式,ExcelStyleUtil为自定义的样式工具类
// 以下3个参数为API中写死的参数名 分别是sheet配置/导出类(注解定义)/数据集
Map<String, Object> exportMap = MapUtil.builder(new HashMap<String, Object>()).put("title",params).put("entity", SysUser.class).put("data", list1).build();
sheetsList.add(exportMap);
for (int i = 2; i <= pageNum; i++) {
map.put("pageNum",String.valueOf(i));
List<SysUser> listi = page(map).getList();
ExportParams param = new ExportParams(null,"Sheet"+i,ExcelType.XSSF);
param.setTitleHeight((short) 12);
param.setStyle(ExcelStyleUtil.class);
exportMap = MapUtil.builder(new HashMap<String, Object>()).put("title",param).put("entity", SysUser.class).put("data", listi).build();
// 加入多sheet配置列表
sheetsList.add(exportMap);
}
Workbook workbook = ExcelExportUtil.exportExcel(sheetsList, ExcelType.XSSF);
ExcelUtil.downLoadExcel("列表数据",response,workbook);
}
虽然上面这段代码能实现导出了,不会报oom了,但是导出还是很慢很慢,当然,数据库查询慢占主要原因。
使用SXSSFWorkbook
第二种方式呢,就没有那么麻烦了,不用分页,一次性在一张sheet里,导出全部数据。
查询数据的时候,同样可以选择分页查询或一次性查询,分页查询就需要将每一页查出来的数据先存起来,等查完了全部数据,再调导出的方法。
/**
* 列表导出
*/
public void pageExport(Map<String,Object> map, HttpServletResponse response){
int pageSize = 10000;
int pageNum = 1;
map.put("pageSize",String.valueOf(pageSize));
map.put("pageNum",String.valueOf(pageNum));
PageInfo<SysUser> page = page(map);
long total = page.getTotal();
pageNum = (int) (total % pageSize == 0 ? total / pageSize : total / pageSize + 1);
List<SysUser> dataList = new ArrayList<>();
dataList.addAll(page.getList());
for (int i = 2; i <= pageNum; i++) {
map.put("pageNum",String.valueOf(i));
List<SysUser> list = page(map).getList();
dataList.addAll(list);
}
ExcelUtil.exportBigExcel(dataList,null,"Sheet1",SysUser.class,"列表导出",response);
}
/**
* excel 导出大数据
* @param list 数据
* @param title 标题
* @param sheetName sheet名称
* @param pojoClass pojo类型
* @param fileName 文件名称
*/
public static void exportBigExcel(List<?> list, String title, String sheetName, Class<?> pojoClass, String fileName, HttpServletResponse response){
ExportParams params = new ExportParams(title,sheetName, ExcelType.XSSF);
params.setTitleHeight((short) 12);
params.setStyle(ExcelStyleUtil.class);
IWriter<Workbook> writer = ExcelExportUtil.exportBigExcel(params, pojoClass);
writer.write(list);
SXSSFWorkbook workbook = (SXSSFWorkbook) writer.get();
ExcelUtil.downLoadExcel(fileName,response,workbook);
writer.close();
workbook.dispose();
}
最后我选择的是用第二种方式SXSSFWorkbook导出。