千万级数量的导出成excel文件

解决问题的能力，程序员立业之本。

SpringBoot如何实现一个实时更新的进度条

1、导出前提示，数据量*，是否确认导出；
2、大量数据的导入，筛选条件下的全部数据；
3、超50万另行导出excel；
4、前台进度条，自动更新进度条

几千万条数据，监管平台；

excel：： easyexcel 前端将数据量，07版 支持50w一个excel： 3000万条数据；60个excel；
循环60次；limit,start 分批次查，每一批次的数据写到excel；

HSSF对应97-2003版本的Excel，XSSF则对应2007版本的Excel。

利用EasyExcel，解决内存消耗问题；

1. 采用XSSF+sax模式一行一行解析；并将一行的解析结果以观察者的模式通知处理；避免将全部数据一次加载到内存； 60个excel下载好后压缩文件；将被压缩的文件删除；

专门的云空间页面文件生成的进度；当文件生成压缩成功：可以拉取文件；

不同的表格导出需要之前是需要不同的导出类；创建对象集合导出到excel表格；后来通过使用easyExcel的相应api，不创建对象的写方式；前端人员传入表头列表；后端获取到，根据导出数据的values进行excel写入；

Excel 2003及以下的版本。一张表最大支持65536行数据，256列
Excel 2007-2010版本。一张表最大支持1048576行，16384列

POI这个类库

POI要操作excel 2007及以上的版本需要使用XSSF来代替上面代码的HSSF。

POI3.8版本 SXSSF的方式，用于超大数据量的操作，好处：SXSSF实现了一套自动刷入数据的机制。当数据数量达到一定程度时(用户可以自己设置这个限制)。像文本中刷入部分数据；缓解了程序运行时候的压力。达到高效的目的。

分批读取,用LIMIT,这个数据量小的时候还行,数据量一大当场傻眼

在mybatis里开启流式读取,并且启用分批读取,这样数据量大的时候分批读取也不会太慢,读取一批数据,处理一批数据并清空,然后读取下一段,这样耗时10分钟左右,256M内存也正常运行,配合easyexcel

 <select id="selectDevice" resultMap="BaseResultMap" resultSetType="FORWARD_ONLY" fetchSize="-2147483648">
        select sn from device where strategy_id =#{id}  limit #{page},#{size}
    </select>

ExcelWriter excelWriter = null;
try {
    ServletOutputStream outputStream = response.getOutputStream();
    excelWriter = EasyExcelFactory.write(outputStream, Device.class).build();
    int j = (int) Math.ceil(i / 500000.0) + 1;
    for (int k = 1; k < j; k++) {
        List<Device> devices = deviceMapper.selectDevicenub(id, (k - 1) * 500000, 500000);
        WriteSheet writeSheet = EasyExcel.writerSheet(k, "设备列表" + k).build();
        excelWriter.write(devices, writeSheet);
        devices=null;
    }
} catch (IOException e) {
    e.printStackTrace();
}
excelWriter.finish();

easyexcel 学习；

Java领域解析，生成Excel比较有名的框架有Apache poi,jxl等，但他们都存在一个严重的问题就是非常的耗内存，如果你的系统并发量不大的话可能还行，但是一旦并发上来后一定会OOM或者JVM频繁的full gc.

EasyExcel是阿里巴巴开源的一个excel处理框架，以使用简单，节省内存著称，EasyExcel能大大减少占用内存的主要原因是在解析Excel时没有将文件数据一次性全部加载到内存中，

而是从磁盘上一行行读取数据，逐个解析。EasyExcel采用一行一行的解析模式，并将一行的解析结果以观察者的模式通知处理（AnalysisEventListener）。

1.导入maven依赖，主要还需要poi的依赖，并且版本要对应上

        <!-- https://mvnrepository.com/artifact/com.alibaba/easyexcel -->
        <dependency>　　
            <groupId>com.alibaba</groupId>
            <artifactId>easyexcel</artifactId>
            <version>2.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>3.17</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>3.17</version>
        </dependency>

2.编写entity对象类

@Data
public class DemoData {
    //设置excel表头名称
    @ExcelProperty(value = "学生编号",index = 0)
    private Integer sno;
    @ExcelProperty(value = "学生姓名",index = 1)
    private String sname;
}

3.写操作

public class TestEasyExcelWrite {

    public static void main(String[] args) {

        //实现excel写的操作
        //1 设置写入文件夹地址和excel文件名称
        String filename = "C:\\Users\\aus\\write.xlsx";
       // 2 调用easyexcel里面的方法实现写操作
       // write方法两个参数：第一个参数文件路径名称，第二个参数实体类class
        EasyExcel.write(filename,DemoData.class).sheet("学生列表").doWrite(getData());

    }

    //创建方法返回list集合
    private static List<DemoData> getData() {
        List<DemoData> list = new ArrayList<>();
        for (int i = 0; i < 10; i++) {
            DemoData data = new DemoData();
            data.setSno(i);
            data.setSname("lucy"+i);
            list.add(data);
        }
        return list;

4.最终效果

5.读取excel需要先写一个监听器继承AnalysisEventListener

public class ExcelListener extends AnalysisEventListener<DemoData> {
    //一行一行读取excel内容
    @Override
    public void invoke(DemoData data, AnalysisContext analysisContext) {
        System.out.println("****"+data);
    }
    //读取表头内容
    @Override
    public void invokeHeadMap(Map<Integer, String> headMap, AnalysisContext context) {
        System.out.println("表头："+headMap);
    }
    //读取完成之后
    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) { }
}

6.读取excel代码

public class TestEasyExcelRead {
    public static void main(String[] args) {
        //实现excel读操作
        String filename = "C:\\Users\\aus\\write.xlsx";
        EasyExcel.read(filename,DemoData.class,new ExcelListener()).sheet().doRead();
    }
}