使用SXSSFWorkbook创建大型excel文件

对于大型excel文件的创建,一个关键问题就是,要确保不会内存溢出。其实,就算生成很小的excel(比如几Mb),它用掉的内存是远大于excel文件实际的size的。如果单元格还有各种格式(比如,加粗,背景标红之类的),那它占用的内存就更多了。

对于大型excel的创建且不会内存溢出的,就只有SXSSFWorkbook了。它的原理很简单,用硬盘空间换内存(就像hash map用空间换时间一样)。

SXSSFWorkbook是streaming版本的XSSFWorkbook,它只会保存最新的excel rows在内存里供查看,在此之前的excel rows都会被写入到硬盘里(Windows电脑的话,是写入到C盘根目录下的temp文件夹)。被写入到硬盘里的rows是不可见的/不可访问的。只有还保存在内存里的才可以被访问到。

至于多少行保存在内存里,其他写入硬盘,是由DEFAULT_WINDOW_SIZE决定的。代码也可以在创建SXSSFWorkbook实例时,传入一个int参数,来设定。需注意的是,int rowAccessWindowSize如果传入100,并不是指100行保存在内存里,而是说100的屏幕尺寸下可见的行数。

    //Construct a new workbook with default row window size
    SXSSFWorkbook test1 = new SXSSFWorkbook();
    //Construct an empty workbook and specify the window for row access.
    SXSSFWorkbook test2 =new SXSSFWorkbook(int rowAccessWindowSize);

上个迭代,我的任务就是要解决潜在的从DB读数据写Excel溢出的问题。数据条数从几万到几十万条不等(每一行每个单元格还带格式),加上虚拟机配置很一般,就可能内存溢出。使用SXSSFWorkbook,最大生成到800Mb的Excel,都顺畅的很。当然了,实际工作中应该不会用到这么大的excel…一般的机器光是打开就可能卡死,几乎不可读。

以下是一些在虚拟机里的运行结果(均包含从DB读数据的时间):

int rowAccessWindowSize = 200;
2Mb的excel, 5秒完成
70Mb的excel,2分半完成
800Mb的excel,65分钟完成

还有一点值得一提,当时为了生成这800Mb的excel,我愣是把C盘清出来10个G的空间,不然SXSSFWorkbook会把硬盘空间全部写满,只剩几十kb,然后程序僵死…

另外,在Windows + Eclipse开发环境下,可以更改eclipse.ini来分配更多内存空间给java程序。在Eclipse根目录下,有个eclipse.ini文件,用文本编辑器打开,找到-vmargs这一行,修改它下面的参数,保存,重启eclipse即可:
-Xms 默认是物理内存的1/64
-Xmx 默认是物理内存的1/4

下期博文预告:搭建WebUI自动化框架…

  • 4
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
好的,我可以为您提供一些关于使用SXSSFWorkbookExcel文件中写入数据的指导。 首先,您需要导入poi-ooxml依赖,这是POI库的扩展,用于处理Office Open XML格式文件。例如,在maven中,您可以添加以下依赖: ``` <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml</artifactId> <version>4.1.2</version> </dependency> ``` 接下来,您可以创建一个SXSSFWorkbook对象,该对象表示一个Excel工作簿。您可以使用该对象创建一个或多个工作表,并在其中添加数据。 以下是一个简单的示例代码,用于创建一个工作簿并向其中添加数据: ``` import org.apache.poi.xssf.streaming.SXSSFWorkbook; import org.apache.poi.xssf.streaming.SheetDataWriter; import org.apache.poi.xssf.streaming.RowDataWriter; import java.io.FileOutputStream; import java.io.IOException; public class ExcelWriter { public static void main(String[] args) throws IOException { // 创建工作簿 SXSSFWorkbook workbook = new SXSSFWorkbook(); // 创建工作表 Sheet sheet = workbook.createSheet("Sheet1"); // 创建Row row = sheet.createRow(0); // 创建单元格并设置值 Cell cell = row.createCell(0); cell.setCellValue("Hello, world!"); // 写入文件 FileOutputStream outputStream = new FileOutputStream("output.xlsx"); workbook.write(outputStream); outputStream.close(); // 关闭工作簿 workbook.close(); } } ``` 在此示例中,我们创建了一个SXSSFWorkbook对象,并使用其createSheet()方法创建了一个名为“Sheet1”的工作表。我们还使用createRow()和createCell()方法在该工作表中创建了一个单元格,并向其设置了值。 最后,我们使用FileOutputStream将工作簿写入名为“output.xlsx”的文件中,并使用close()方法关闭工作簿。 请注意,SXSSFWorkbook是一种内存优化型工作簿,它可以在处理大量数据时减少内存开销。因此,您可以使用它来处理大型Excel文件。 希望这可以帮助您开始使用SXSSFWorkbookExcel中写入数据。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值