大数据量导出到Excel时需要注意的问题

大数据量导出到Excel时需要注意的问题

1、现象：问题描述
我们发现当统计的数量超大时候，在统计总量明细时，导出到Excel表格的时候就会抛出如下表格的异常
(1)内存溢出异常
javax.servlet.ServletException: Servlet execution threw an exception
com.huawei.insa2.filter.EncodingFilter.doFilter(EncodingFilter.java:67)
java.lang.OutOfMemoryError

(2)超过边界值
jxl.write.biff.RowsExceededException: The maximum number of rows permitted on
a
worksheet been exceeded at
jxl.write.biff.WritableSheetImpl.getRowRecord(WritableSheetImpl.java:
779)
2、关键过程：根本原因分析
(1) 内存溢出问题，是因为一次性将大量数据载入到内存中，导致虚拟内存不足
(2) 对边界值问题，对该现象进行分析。
private void exportSMDownData(HttpServletRequest request,
HttpServletResponse response) throws IOException
{
response.setContentType("application/vnd.ms-excel");
try
{
jxl.write.WritableWorkbook workbook =
jxl.Workbook.createWorkbook(response.getOutputStream());
jxl.write.WritableSheet sheet = workbook.createSheet("发送短
信统计", 0);
…………………………..
sheet.addCell(new jxl.write.Label(0, 0, "开始时间："));
sheet.addCell(new jxl.write.Label(1, 0, s1));
}
看下日志抛异常的地方，在向Excel表格写数据时，超过了Excel表格所允许的最大容量，导致异常发生
3、结论：解决方案及效果
(1) 对第一个问题：可以在系统的环境变量中加入虚拟内存即可。
(2) 对第二个问题
Int maxRowCount = 60000;//不能够超过Excel的最大容量
for(int i=0;i<mqb.getRowCount()/maxRowCount;i++)
{

workbook.copySheet(0,"发送短信统计"+i+1,i+1);
}
。。。。。。。。。。。
if(index> maxRowCount)
{
sheet=workbook.getSheet(++currentSheetId);
index=0;
}
一个Excel页的最大行数为65536。程序中需要加入对Excel最大容量的限制，可对每个sheet设定的显示的最大数量，当达到设定的数量时，便更换Excel的sheel写入(即使对Excel进行分页)
4、经验总结：预防措施和规范建议
该问题的出现暴露出值得关注的几点：
(1)将大量数据加载到内存中，会使虚拟内存不足，导致程序无法运行，可以通过增加
虚拟内存来解决此问题，但不推荐此方式，建议将大量数据的操作划分成小量数据
进行操作
(2) 需要注意Excel的行数限制，在导入文件的时候对大数据量导入进行分页处理。