解决JXLS导出大量数据内存溢出

JXLS使用SXSS Workbook

老铁们在使用jxls导出Excel时如果导出数据过多的话。可能会出现以下问题。
1.导出慢。
2.内存溢出

内存溢出：顾名思义就是程序内存不够。
原因：因为jxls底层实现还是apache的poi 。并且使用的是XSSFWorkbook作为默认实现。
XSSFWorkbook 渲染数据其实是将数据放入内存的。就是图下的_rows 变量 。
如果渲染的数据量大的话，就会导致内存溢出。
并且会等很久才回OOM 。等很久这个是因为GC的原因。因为jxls写数据时内存不够了会触发GC 。然后反复的写一点数据后内存不足，触发GC。直到回收不了一点内存空间，程序就OOM了。

这是大家用jxls导出的方法。大家可以点进源码看，该方法的transformer返回实现就是XSSWorkbook。

上述说了jxls底层是poi ，有经验的老铁就想到了既然底层是poi，那么让JXLS用poi的SXXSWorkbook作为实现不就好了？然后就用 PoiTransformer.createSxssfTransformer方法返回了一个底层为SXXSWorkbook的 PoiTransformer 看上去代码没毛病。

 

PoiTransformer transformer=PoiTransformer.createSxssfTransformer(workbook,10,false);

SXXSworkbook能实现大量数据导出的原因是：
SXXSWorkbook 有一个DEFAULT_WINDOW_SIZE变量，默认为100 （可以通过构造参数进行覆盖）代表DEFAULT_WINDOW_SIZE后的行就会写入磁盘。以此保证大量数据导出是不会内存溢出。
看似很完美，但是修改后，导出时却报如下错误 IllegalArgumentException：

Attempting to write a row[5] in the range [0,5 ] that is already written to disk.

这是因为jxls写渲染模板数据是从索引为0行开始写数据的，这是我们通过Excel模板创建SXXSWorkbook时他的_rows变量就已经有数据了，只是数据是未替换的模板变量。 SXXSWorkbook 是不允许重复创建行的，这是因为考虑到因为某些行可能已经写入磁盘了没在内存了。所以创建行的rownum是不能小于当前最大行的。但是XXSWorkbook 是允许的 因为他数据存储在内存中。

这时候就陷入两难了，使用XSSworkbook不报错，但是大量数据会内存溢出。用SXSSWorkbook能解决大数据导出，但是在jxls上使用不了。

关子卖到这里，那肯定是有解决方案的。
其实JXLS官网已经对这个问题提供了解决方案。官网提供了一个使用SXSSWorkbook导出的例子

代码如下：

依赖：

org.jxls
jxls-poi
2.14.0

模板：

代码：

public static void main(String[] args) throws IOException {
        test();
    }

    private static void test() throws IOException {

        try (InputStream is = Jxls.class.getClassLoader().getResourceAsStream("test.xlsx")) {
            //1.创建数据 一共100000条
            List<Map> list=getData(10);

            try (OutputStream os = new FileOutputStream("test-out2.xlsx")) {
                //2.创建workbook 注意这里的workbook实现还是XSSFWorkbook
                Workbook workbook = WorkbookFactory.create(is);
                //3.通过XSSFWorkbook创建一个SXSSFWorkbook
                PoiTransformer transformer = PoiTransformer.createSxssfTransformer(workbook, 5, false);

                //4.重点：这里是通过上面的transformer创建了一个AreaBuilder 然后拿到一个List<Area> 这个就是需要渲染的区域 每一个通过jx:area(lastCell="") 定义的都会是List里面的一个元素
                AreaBuilder areaBuilder = new XlsCommentAreaBuilder(transformer);
                List<Area> xlsAreaList = areaBuilder.build();
                //5.因为模板里面只有一个所以这个直接get 0
                Area xlsArea = xlsAreaList.get(0);

                Context context = new PoiContext();
                context.putVar("list", list);
                //这个是自定义的cellUpdater 用于sum公式计算的
                context.putVar("totalCellUpdater", new TotalCellUpdater());

                //6.这步重中之重  相当于把当前的这个area渲染后形成一个新的sheet 名字就是Result，这样的话就不违反SXSSworkbook的 createrow方法原则了。
                // 但是会导致两个问题，1.之前的那个有模板sheet导出来还是会有。  2.title列的样式可能会丢失
                xlsArea.applyAt(new CellRef("Result!A1"), context);
                context.getConfig().setIsFormulaProcessingRequired(false); // with SXSSF you cannot use normal formula
                // 7.如果需要将之前的模板sheet给删除掉可以采用如下代码
                //workbook.removeSheetAt(workbook.getSheetIndex(xlsArea.getStartCellRef().getSheetName()));
                workbook.setForceFormulaRecalculation(true);
                //8.将Excel导出
                transformer.getWorkbook().write(os);
            }
        }
    }



    private static List   getData(int total){
        List<Map> list =new ArrayList<>();
        Random random = new Random();
        for (int i = 0; i < total; i++) {
            int finalI = i;
            list.add(new HashMap(){{
                put("name","测试人员"+ finalI);
                put("age", random.nextInt(100));
                put("sex",System.currentTimeMillis()%2==0?"男":"女");
            }});
        }
        return list;
    }



    static class TotalCellUpdater implements CellDataUpdater {

        @Override
        public void updateCellData(CellData cellData, CellRef targetCell, Context context) {
            if (cellData.isFormulaCell() && cellData.getFormula().equals("SUM(C3)")) {
                String resultFormula = String.format("SUM(C3:C%d)", targetCell.getRow());
                cellData.setEvaluationResult(resultFormula);
            }
        }
    }

结果：