【快速实现大数据量数据导出到Excel】

项目场景：

快速实现大数据量数据导出到Excel

---

问题描述

起初是通过一次性查出所有数据并导出，经过实验发现20万条数据需要70秒的时间，性能很差

---

原因分析：

经分析得到一次性查询全部数据会涉及到多次磁盘IO操作，并且如果我们用ArryList集合去接受20万条数据很容易会引起堆或者栈溢出的情况，所以现在采用线程池+CountDownLach的方式实现批量导出

---

解决方案：

这里只奉上部分关键代码：

List<ExportVO> exportVOList = Collections.synchronizedList(new ArrayList<>());
        long count = xxxxMapper.findExportCount(body);
        int limit = 50000;
        //循环次数
        long cycles = count / limit+1;
        body.setLimit(limit);
        CountDownLatch latch = new CountDownLatch(Math.toIntExact(cycles));
        ExecutorService executorService = Executors.newFixedThreadPool(Math.toIntExact(cycles));
        final Object lock = new Object();
        for (int i = 0; i < cycles; i++) {
            int finalI = i;
            executorService.submit(() -> {
                synchronized (lock){
                    int offset = finalI * limit;
                    if (offset > count) {
                        offset = Math.toIntExact(count);
                    }
                    body.setOffset(offset);
                    List<ExportVO> rr = xxxMapper.export(body);
                    exportVOList.addAll(rr);
                    latch.countDown();
                }
            });
        }
        try {
            latch.await();
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        }
        if (CollectionUtils.isEmpty(exportVOList )){
            return null;
        }

此处使用 Collections.synchronizedList(new ArrayList<>()) 主要是防止因为查询结果集过多导致数据丢失的问题。
CountDownLatch 可以实现线程等待的锁机制，实现等所有线程任务完成后方便拿到所有结果集。
注意：线程池中介入了同步锁机制，防止offset设置后能够正确适配对应的任务，否则会有offset的设置跟不上查询的情况，导致查询结果数量不对。
通过这样写，最终的导出时间缩短到了20s，个人感觉还凑合，也算巩固了一遍多线程的使用场景。