大数据量excel2007导入(大于10M)-java

最近的项目中碰到这样一个问题，用户需要导入大数据量的数据，要导入的数据文件大于7M,用户在系统使用的高峰期进行导入，结果导致应用服务器的cpu负载过高，其他用户无法使用系统，系统崩溃的情况。

 

我们之前没有考虑到这么大数据量的导入，我们使用的是poi3.6版本，用的方式是把用户要导入的文件读成流，然后一次性放到poi的WorkBook中，经过测试，当文件的大小大于5M左右，tomcat服务器的内存就会溢出，从而导致服务器崩溃。

 

为了解决这个问题，我在网上查了一些资料，解决的方式大概如下(此种方式只适用于excel2007)：

 

1. 采用的读取方式是事件模型eventusermodel，因为excel2007采用的存储方式实际上是xml形式，excel2007可以用系统自带的解压缩软件解压之后可以看到数据都是存储成xml格式的数据，所以这里采用sax的方式对excel文件进行解析。

 

2. 我在网上下载了2个类文件

 

抽象类：XxlsAbstract ，作用：遍历excel文件，提供行级操作方法 optRows

继承类：XxlsBig，作用：将数据转出到数据库临时表 temp_table

另外，还需要一个属性文件 db.properties，把数据库的链接写到属性文件中。

 

3. 另外我自己写了一个多线程的程序，把临时表 temp_table 的数据再写到真正需要导入的数据库表中

 

4. 写完数据把临时表删除。

 

程序经过测试，50M左右的文件在本地进行导入都比较稳定。

 

但是有几个问题不知道怎么办？

 

1. excel2007文件转换成xml格式的文件之后，可以看到，如果某一行的某个单元格没有内容，xml中就不显示这个单元格，也就是说此种方式不能处理空的单元格。

解决方案：我自己是这么处理的，在导入之前，先把左右的空单元格统一替换成1，然后在java后台在把1替换回来，这样做肯定很影响导入的性能，但是暂时只想到这么个办法。

 

2. 之前的导入传到service层的是一个文件流，现在XxlsBig类中接收的参数仅仅是一个文件路径，所以如果我的程序发布到应用服务器上，肯定是拿不到要导入的文件的。

 

总之，还有一些细节的问题弄不明白，需要csdn的兄弟姐妹们给予指导，谢谢啦~~

 

2011年2月22日补充：

在javaeye上看到了原创作者的补充，解决了问题1，

代码如下：

 

 package com.gaosheng.util.xls;  
 
import java.io.InputStream;  
import java.sql.SQLException;  
import java.util.ArrayList;  
import java.util.Iterator;