关于SXSSFWorkbook导出大批量数据的问题

最新推荐文章于 2024-08-16 10:51:30 发布

置顶 Dreamiy

最新推荐文章于 2024-08-16 10:51:30 发布

阅读量1.7w

点赞数 4

文章标签：内存溢出 os

本文链接：https://blog.csdn.net/dreamiy/article/details/49334979

版权

前段时间做了一个导出大批量数据的功能，但是由于数据过多使用SXSSFWorkbook会出现内存溢出的问题，

主要有两个地方容易溢出。

1.一个是从数据看读取数据到内存时溢出，基本数据超过20W或者2M时会溢出这个时候改${jrebel_args}
-Xms1024m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024m 用处都是特别大

2.还有一个就是在FileOutputStream os = new FileOutputStream(path);
wb.write(os);

时会报内存溢出的异常

对于这两个地方我是这么处理的，

1.去数据时用的是分页的方法分批取数据，然后写入sheet中。这样就不会报

java.lang.OutOfMemoryError:GC overhead limit exceeded

2.在输入的时候我查阅了poi的api发现一般是不能大批量数据输入的，但是poi的2007支持大数据处理

Workbook wb = new SXSSFWorkbook(5000);

在生成Workbook 时给工作簿一个内存数据存在条数，这样一旦这个Workbook 中数据量超过5000就会写入到磁盘中，减少内存的使用量来提高速度和避免溢出。

/**
* 创建一个excel
* @param exportName
*/
private void createExcel(String path, int allnum, CalllogExportHistory call){
try{

//设置工作簿内存数据保有量
Workbook wb = new SXSSFWorkbook(5000);
Sheet sheet= wb.createSheet(OUTBOUND_RECORDS);

//设置默认列宽
sheet.setDefaultColumnWidth(defaultColumnWidth());
//开始执行
createContentHeader(wb, sheet, OutBoundTitle());

int startNum = 0;
int page = 1;
int sheetRowNum = 1;
if(allnum > DEFAULT_ONCE_EXPORT_NUMBER){
page = allnum/DEFAULT_ONCE_EXPORT_NUMBER + 1;
}
//循环读取并写入
for(int i = 1 ; i <= page; i++){
//获取对应用户的记录
List<List<String>> listCallRecord = outBoundService.queryOutCallRecord(call, startNum);
//写入文件sheet'记录'中
System.out.println("第"+i+"次导出："+listCallRecord.size());
//数据写入sheet
createContentRows(sheet, listCallRecord,sheetRowNum);

sheetRowNum =sheetRowNum + listCallRecord.size();

startNum = startNum + DEFAULT_ONCE_EXPORT_NUMBER;
}

FileOutputStream os = new FileOutputStream(path);
wb.write(os);
//结束
os.flush();
os.close();
} catch (Exception e) {
e.printStackTrace();
}
}

只发了一个主体方法方便查看