最近的项目中碰到这样一个问题,用户需要导入大数据量的数据,要导入的数据文件大于7M,用户在系统使用的高峰期进行导入,结果导致应用服务器的cpu负载过高,其他用户无法使用系统,系统崩溃的情况。
我们之前没有考虑到这么大数据量的导入,我们使用的是poi3.6版本,用的方式是把用户要导入的文件读成流,然后一次性放到poi的WorkBook中,经过测试,当文件的大小大于5M左右,tomcat服务器的内存就会溢出,从而导致服务器崩溃。
为了解决这个问题,我在网上查了一些资料,解决的方式大概如下(此种方式只适用于excel2007):
1. 采用的读取方式是事件模型eventusermodel,因为excel2007采用的存储方式实际上是xml形式,excel2007可以用系统自带的解压缩软件解压之后可以看到数据都是存储成xml格式的数据,所以这里采用sax的方式对excel文件进行解析。
2. 我在网上下载了2个类文件
抽象类:XxlsAbstract ,作用:遍历excel文件,提供行级操作方法 optRows
继承类:XxlsBig,作用:将数据转出到数据库临时表 temp_table
另外,还需要一个属性文件 db.properties,把数据库的链接写到属性文件中。
3. 另外我自己写了一个多线程的程序,把临时表 temp_table 的数据再写到真正需要导入的数据库表中
4. 写完数据把临时表删除。
程序经过测试,50M左右的文件在本地进行导入都比较稳定。
但是有几个问题不知道怎么办?
1. excel2007文件转换成xml格式的文件之后,可以看到,如果某一行的某个单元格没有内容,xml中就不显示这个单元格,也就是说此种方式不能处理空的单元格。
解决方案:我自己是这么处理的,在导入之前,先把左右的空单元格统一替换成1,然后在java后台在把1替换回来,这样做肯定很影响导入的性能,但是暂时只想到这么个办法。
2. 之前的导入传到service层的是一个文件流,现在XxlsBig类中接收的参数仅仅是一个文件路径,所以如果我的程序发布到应用服务器上,肯定是拿不到要导入的文件的。
总之,还有一些细节的问题弄不明白,需要csdn的兄弟姐妹们给予指导,谢谢啦~~
2011年2月22日补充:
在javaeye上看到了原创作者的补充,解决了问题1,
代码如下:
package com.gaosheng.util.xls;
import java.io.InputStream;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.Iterator;