POI3.6 生成Excel2007 效率低的解决办法

最近项目中要将较大数据生成Excel2003或Excel2007文件。

由于POI很好的采用了面向接口编程的思想,所以其实生成Excel2003和生成Excel2007的代码多数是可以复用的。

 

我的做法是:

1.定义Excel2003FileCreator,用来生成Excel2003文件

2.定义Excel2007FileCreator,用来生成Excel2007文件,Excel2007FileCreator extends Excel2003FileCreator。

 

在Excel2003FileCreator中定义

protected org.apache.poi.ss.usermodel.Workbook workbook;

protected org.apache.poi.ss.usermodel.Sheet  sheet;

private org.apache.poi.ss.usermodel.Row        row

 

Workbook,Sheet ,Row均为接口。

 

只要在生成workbook时,确定是

org.apache.poi.hssf.usermodel.HSSFWorkbook   // 生成Excel2003文件用

还是

org.apache.poi.xssf.usermodel.XSSFWorkbook   // 生成Excel2007文件用

即可。

后续的Sheet,Row 都是根据 workbook 创建的。

 

问题的出现:

 

在对每一个Cell进行设置Style和Value的时候,我先根据DB中的配置,取得每个单元格的格式,再对其进行设定值。

 

再进行设置其他单元格格式。

只列实现代码:

 

 

取得的Style,再调用Cell对象的 cell.setCellStyle(Style) 进行设置格式。

 

因为这段代码是生成Excel2003和Excel2007时候都要用到的。

 

生成1w的数据,Excel2003是没有问题的,速度很快。

但是同样的数据,生成Excel2007时,速度慢的可以,让人不能接受。

最后调查得出的结果是:瓶颈在于org.apache.poi.xssf.usermodel.XSSFWorkbook 在生成字体和样式对象时。

问题的解决:

由于对于文件体的单元格设置,每一列几乎是相同的。所以将生成字体和单元格样式的代码做了一些小调整:

取得样式

 

这样改了之后,速度立刻提高了。

当然,在用完之后,记得clear。

 

 

这里要注意的是,缓存HashMap对象中的Key的设定。

Key在组合时要体现出你的单元格格式,又不会因为组合,使得缓存中对象混乱了。

 

 

 

目前处理Excel的开源javaAPI主要有两种,一是Jxl(Java Excel API),Jxl只支持Excel2003以下的版本。另外一种是Apache的Jakarta POI,相比于Jxl,POI对微软办公文档的支持更加强大,但是它使用复杂,上手慢。POI可支持更高的Excel版本2007。对Excel的读取,POI有两种模式,一是用户模式,这种方式同Jxl的使用很类似,使用简单,都是将文件一次性读到内存,文件小的时候,没有什么问题,当文件大的时候,就会出现OutOfMemory的内存溢出问题。第二种是事件驱动模式,拿Excel2007来说,其内容采用XML的格式来存储,所以处理excel就是解析XML,而目前使用事件驱动模式解析XML的API是SAX(Simple API for XML),这种模型在读取XML文档时,并没有将整个文档读入内存,而是按顺序将整个文档解析完,在解析过程中,会主动产生事件交给程序中相应的处理函数来处理当前内容。因此这种方式对系统资源要求不高,可以处理海量数据。笔者曾经做过测试,这种方法处理一千万条,每条五列的数据花费大约11分钟。可见处理海量数据的文件事件驱动是一个很好的方式。而本文中用到的AbstractExcel2003Reader、AbstractExcel2007Reader对Excel的读取都是采用这种POI的事件驱动模式。至于Excel的写操作,对较高版本的Excel2007POI提供了很好的支持,主要流程是第一步构建工作薄和电子表格对象,第二步在一个流中构建文本文件,第三步使用流中产生的数据替换模板中的电子表格。这种方式也可以处理海量数据文件。AbstractExcel2007Writer就是使用这种方式进行写操作。对于写入较版本的Excel2003,POI使用了用户模式来处理,就是将整个文档加载进内存,如果数据量大的话就会出现内存溢出的问题Excel2003Writer就是使用这种方式。据笔者的测试,如果数据量大于3万条,每条8列的话,就会报OutOfMemory的错误。Excel2003中每个电子表格的记录数必须在65536以下,否则就会发生异常。目前还没有好的解决方案,建议对于海量数据写入操作,尽量使用Excel2007
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值