前段时间做了一个导出大批量数据的功能,但是由于数据过多使用SXSSFWorkbook会出现内存溢出的问题,
主要有两个地方容易溢出。
1.一个是从数据看读取数据到内存时溢出,基本数据超过20W或者2M时会溢出 这个时候改${jrebel_args}
-Xms1024m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024m 用处都是特别大
2.还有一个就是在FileOutputStream os = new FileOutputStream(path);
wb.write(os);
时会报内存溢出的异常
对于这两个地方我是这么处理的,
1.去数据时用的是分页的方法分批取数据,然后写入sheet中。这样就不会报
2.在输入的时候我查阅了poi的api发现一般是不能大批量数据输入的,但是poi的2007支持大数据处理
Workbook wb = new SXSSFWorkbook(5000);
在生成Workbook 时给工作簿一个内存数据存在条数,这样一旦这个Workbook 中数据量超过5000就会写入到磁盘中,减少内存的使用量来提高速度和避免溢出。
/**
* 创建一个excel
* @param exportName
*/
private void createExcel(String path, int allnum, CalllogExportHistory call){
try{
* 创建一个excel
* @param exportName
*/
private void createExcel(String path, int allnum, CalllogExportHistory call){
try{
//设置工作簿内存数据保有量
Workbook wb = new SXSSFWorkbook(5000);
Sheet sheet= wb.createSheet(OUTBOUND_RECORDS);
//设置默认列宽
sheet.setDefaultColumnWidth(defaultColumnWidth());
//开始执行
createContentHeader(wb, sheet, OutBoundTitle());
int startNum = 0;
int page = 1;
int sheetRowNum = 1;
if(allnum > DEFAULT_ONCE_EXPORT_NUMBER){
page = allnum/DEFAULT_ONCE_EXPORT_NUMBER + 1;
}
//循环读取并写入
for(int i = 1 ; i <= page; i++){
//获取对应用户的记录
List<List<String>> listCallRecord = outBoundService.queryOutCallRecord(call, startNum);
//写入文件sheet'记录'中
System.out.println("第"+i+"次导出:"+listCallRecord.size());
//数据写入sheet
createContentRows(sheet, listCallRecord,sheetRowNum);
sheetRowNum =sheetRowNum + listCallRecord.size();
startNum = startNum + DEFAULT_ONCE_EXPORT_NUMBER;
}
FileOutputStream os = new FileOutputStream(path);
wb.write(os);
//结束
os.flush();
os.close();
} catch (Exception e) {
e.printStackTrace();
}
}
Workbook wb = new SXSSFWorkbook(5000);
Sheet sheet= wb.createSheet(OUTBOUND_RECORDS);
//设置默认列宽
sheet.setDefaultColumnWidth(defaultColumnWidth());
//开始执行
createContentHeader(wb, sheet, OutBoundTitle());
int startNum = 0;
int page = 1;
int sheetRowNum = 1;
if(allnum > DEFAULT_ONCE_EXPORT_NUMBER){
page = allnum/DEFAULT_ONCE_EXPORT_NUMBER + 1;
}
//循环读取并写入
for(int i = 1 ; i <= page; i++){
//获取对应用户的记录
List<List<String>> listCallRecord = outBoundService.queryOutCallRecord(call, startNum);
//写入文件sheet'记录'中
System.out.println("第"+i+"次导出:"+listCallRecord.size());
//数据写入sheet
createContentRows(sheet, listCallRecord,sheetRowNum);
sheetRowNum =sheetRowNum + listCallRecord.size();
startNum = startNum + DEFAULT_ONCE_EXPORT_NUMBER;
}
FileOutputStream os = new FileOutputStream(path);
wb.write(os);
//结束
os.flush();
os.close();
} catch (Exception e) {
e.printStackTrace();
}
}
只发了一个主体方法方便查看