xlslib库——低内存方式生成excel表

前言

xlslib库是将所有数据写入到workbook对象和多个worksheet对象中。
然后再一次性导出数据，导致内存峰值过大，系统内存不足。
因此需要对其进行改进。由于公司代码不便贴出，这里仅描述我的实现方案。

方案1

思路

1. 填充一个sheet页对象，就立刻生成sheet页的buffer，然后将sheet页对象以及其内包含的cell对象都给delete掉，释放内存空间。
   该方案要求生成sheet页时使用的font，color等format属性在创建sheet页之前就创建好，以及需要创建多少sheet页时，提前创建好空sheet对象。

实现

1. 新增一个workbook public接口，用于导出xls文件。接口名为：DumpOneByOne。其内容为基于Dump接口修改后的内容。

   接口参数：
   filename: 导出文件名
   callback：生成sheet页时的回调函数
   args: 回调函数参数

   当要导出第N个sheet之前，先释放第N-1个sheet类对象，然后才调用回调函数填充第N个sheet类对象，最后导出sheet类对象对应的buffer。

2. 新增一个workbook private接口，用于控制workbook生成sheet流程，接口名为：DumpDataOneByOne，其接口内容为基于DumpData接口修改后的内容。

   第一次要生成sheet对象时，及时跳出循环。

使用

1. 先创建workbook对象
2. 创建所有需要用到的format，font属性
3. 一次性创建目标个数的sheet对象（比如255）。此时的sheet对象是空的，基本不占什么数据
4. 调用DumpOneByOne，然后传入一个回调函数的参数：FillSheetCallback
5. FillSheetCallback被触发后，会传入sheet对象，args参数，以及index索引。index告知是生成第几个sheet页，sheet对象是用于填充数据的，args是调用DumpOnebyOne时传入的自定义参数。
6. 在FillSheetCallback回调按照index填充sheet对象
7. 结束

优化效果

方案1实测大概优化2倍-4倍内存。80M的excel实测原先消耗600M内存，优化后消耗240M内存。原先100M消耗内存优化后消耗40M内存。
优化程度和生成excel内容的方式有关。但大致在2-4倍

方案2

方案1优化时，内存实际优化只有2-4倍。因此进行第二轮优化

buffer优化

excel越大，其生成的buffer也会越大。100M的excel需要的buffer也是100M，因此需要100M内存。

buffer优化实现

可以将buffer暂时写入到文件中，然后再分段读出来。

对象数量优化

生成excel表格的过程中，可能创建了几十万-几百万个buffer对象。

对象数量优化实现

在生成excel文件时，buffer对象的buffer是直接拼接使用的。
每个对象内部的buffer占用了几十字节-几百字节不等，可以将buffer对象的buffer临时保存在文件中，记录的buffer大小进行叠加，然后清空buffer，并记录buffer在文件中的位置和大小，然后继续复用该对象。当拼接buffer时，直接从文件取出buffer即可。buffer不宜过大，读出时过大占用内存大，不宜过小，不然buffer对象还是很多。
通过测试32KB-512KB效果相近。

优化效果

80M大小的excel，256个SHEET页，原先消耗600M多内存，方案2优化后仅需要2M内存(不包含代码段内存占用)。
27M大小的excel，100个SHEET页，原先消耗200M多内存，方案2优化后仅需要2M内存(不包含代码段内存占用)。
将原来线性上升的内存消耗改为了低内存的固定消耗。设备中实际运行过程，固定内存占用为5M。
缺点：如果buffer大小需要100M，那么磁盘或者flash则需要消耗额外100M，内存的要求转移到flash中了