千万级数据导出excel的一点心得

最近做了个项目,使用MYSQL数据库,要求做到千万级的数据用EXCEL导出,试了良久,找出了几个方法.

一定要走索引,最好是主键索引,否则指不定运维把服务器的mysql设置改成整成啥样,我就吃过一次大亏,走索引可以避免出各种幺蛾子

1.分批读取,用LIMIT,这个数据量小的时候还行,数据量一大当场傻眼

2.使用流式读取,耗时3分钟,速度还可以再优化,就是占用内存太大,1000W数据占了3G运存,关键字为 

resultSetType="FORWARD_ONLY" fetchSize="-2147483648"

<select id="selectDevice" parameterType="int" resultMap="BaseResultMap" resultSetType="FORWARD_ONLY" fetchSize="-2147483648">
        select sn from device where strategy_id =#{id}
    </select>

但是这样得话老大非找我麻烦不可.不过百万左右的数据用这个,速度是真快

3.使用两者结合,在mybatis里开启流式读取,并且启用分批读取,这样数据量大的时候分批读取也不会太慢,读取一批数据,处理一批数据并清空,然后读取下一段,这样耗时10分钟左右,256M内存也正常运行,配合easyexcel

 <select id="selectDevice" resultMap="BaseResultMap" resultSetType="FORWARD_ONLY" fetchSize="-2147483648">
        select sn from device where strategy_id =#{id}  limit #{page},#{size}
    </select>

ExcelWriter excelWriter = null;
            try {
                ServletOutputStream outputStream = response.getOutputStream();
                excelWriter = EasyExcelFactory.write(outputStream, Device.class).build();
                int j = (int) Math.ceil(i / 500000.0) + 1;
                for (int k = 1; k < j; k++) {
                    List<Device> devices = deviceMapper.selectDevicenub(id, (k - 1) * 500000, 500000);
                    WriteSheet writeSheet = EasyExcel.writerSheet(k, "设备列表" + k).build();
                    excelWriter.write(devices, writeSheet);
                    devices=null;
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
            excelWriter.finish();

记得一定要把集合清空