使用EasyExcel实现excel导出,支持百万大数据量导出-----超简单

通过设置sheet数量,完成分批导出,每个sheet存100万数据,每次查询插入20万数据,避免超时,内存溢出等问题,可以根据服务器配置调整参数设置。
1.引入依赖

            <dependency>
                <groupId>com.alibaba</groupId>
                <artifactId>easyexcel</artifactId>
                <version>3.0.5</version>
            </dependency>

2.创建对应的实体类
@ExcelProperty设置的就是导出的列名,还可以设置排序等等

@Data
@NoArgsConstructor
@AllArgsConstructor
public class AltitudeMonExportExcelVO implements Serializable {

    @ExcelProperty(value = "站名")
    private String cname;

    @ExcelProperty(value = "站号")
    private String v01301;

    @ExcelProperty(value = "月平均气温(气温)")
    private String v12001_701="0";

    @ExcelProperty(value = "月平均气压")
    private String v10004_701="0";

    @ExcelProperty(value = "月平均相对湿度(相对湿度)")
    private String v13003_701="0";

    @ExcelProperty(value = "月平均温度露点差(露点温度)")
    private String v12301_701="0";
}

3.核心导出代码

public void exportSurfList2(StatisticsRequestVo requestVo,HttpServletResponse response) throws IOException {
        log.info("*********地面统计查询列表导出开始!**************");
        //文件名
        String fileName =String.valueOf(System.currentTimeMillis());

        OutputStream outputStream =null;
        try {
            //记录总数:实际中需要根据查询条件进行统计即可:一共多少条
            int totalCount=mapper.seleCount();
            //每一个Sheet存放100w条数据
            Integer sheetDataRows = ExcelConstants.PER_SHEET_ROW_COUNT;
            //每次写入的数据量20w,每页查询20W
            Integer writeDataRows = ExcelConstants.PER_WRITE_ROW_COUNT;
            //计算需要的Sheet数量
            Integer sheetNum = totalCount % sheetDataRows == 0 ? (totalCount / sheetDataRows) : (totalCount / sheetDataRows + 1);
            //计算一般情况下每一个Sheet需要写入的次数(一般情况不包含最后一个sheet,因为最后一个sheet不确定会写入多少条数据)
            Integer oneSheetWriteCount = sheetDataRows / writeDataRows;
            //计算最后一个sheet需要写入的次数
            Integer lastSheetWriteCount = totalCount % sheetDataRows == 0 ? oneSheetWriteCount : (totalCount % sheetDataRows % writeDataRows == 0 ? (totalCount / sheetDataRows / writeDataRows) : ((totalCount % sheetDataRows)+ / writeDataRows + 1));
            outputStream = response.getOutputStream();
            //必须放到循环外,否则会刷新流
            ExcelWriter excelWriter = EasyExcel.write(outputStream).build();
            //开始分批查询分次写入
            for (int i = 0; i < sheetNum; i++) {
                //创建Sheet
                WriteSheet sheet = new WriteSheet();
                sheet.setSheetName("Sheet"+i);
                sheet.setSheetNo(i);
                //循环写入次数: j的自增条件是当不是最后一个Sheet的时候写入次数为正常的每个Sheet写入的次数,如果是最后一个就需要使用计算的次数lastSheetWriteCount
                for (int j = 0; j < (i != sheetNum - 1 ? oneSheetWriteCount : lastSheetWriteCount); j++) {
                    //分页查询一次20w
                    Page page1 = new Page(j + 1 + oneSheetWriteCount * i, writeDataRows);
                    //查询分页列表---按照自己的业务查列表,分页这个一定要使用这个:page1.getPageNum(),page1.getPageSize()!!!
                    List<Map<String, Object>> list = mapper.selectList(page1.getPageNum(),page1.getPageSize());
                    List<AltitudeMonExportExcelVO > SurfDayList = new ArrayList<>();
                   //写入到excel:
                    /**************z只需要选择一种方式即可*****************/
                    //这里可以通过设置includeColumnFiledNames、excludeColumnFiledNames导出什么字段,可以动态配置,前端传过来那些列,就导出那些列
                    //方式1、只导出v01301这一列
                    Set<String> includeColumnFiledNames = new HashSet<String>();
                    includeColumnFiledNames.add("v01301");
                    WriteSheet writeSheet = EasyExcel.writerSheet(i, "Sheet" + (i + 1)).head(AltitudeMonExportExcelVO.class).includeColumnFiledNames(includeColumnFiledNames)
                            .registerWriteHandler(new LongestMatchColumnWidthStyleStrategy()).build();
                    //方式2、排除v01301这一列,其他的全部导出
                    Set<String> excludeColumnFiledNames = new HashSet<String>();
                    excludeColumnFiledNames.add("v01301");
                    WriteSheet writeSheet = EasyExcel.writerSheet(i, "Sheet" + (i + 1)).head(AltitudeMonExportExcelVO.class).excludeColumnFiledNames(includeColumnFiledNames)
                            .registerWriteHandler(new LongestMatchColumnWidthStyleStrategy()).build();
                    excelWriter.write(list, writeSheet);
                    //方式3、不做设置,全部导出
                    WriteSheet writeSheet = EasyExcel.writerSheet(i, "Sheet" + (i + 1)).head(AltitudeMonExportExcelVO.class)
                            .registerWriteHandler(new LongestMatchColumnWidthStyleStrategy()).build();
                    excelWriter.write(list, writeSheet);
                }
            }
            // 下载EXCEL,返回给前段stream流
            response.setContentType("application/octet-stream");
            response.setCharacterEncoding("utf-8");
            response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + fileName + ".xlsx");
            excelWriter.finish();
            outputStream.flush();
            outputStream.close();
            log.info("*********地面统计查询列表导出结束!**************");
        } catch (Exception e) {
            e.printStackTrace();
        }finally {
            if (outputStream != null) {
                outputStream.close();
            }
        }

    }

4.配置类

public class ExcelConstants {
    //一个sheet装100w数据
    public static final Integer PER_SHEET_ROW_COUNT = 1000000;
    //每次查询20w数据,每次写入20w数据
    public static final Integer PER_WRITE_ROW_COUNT = 200000;
}

至此就完成导出。

  • 20
    点赞
  • 83
    收藏
    觉得还不错? 一键收藏
  • 19
    评论
### 回答1: EasyExcel是一个基于Java简单易用的Excel操作工具,它提供了批数据导出的功能。 在大量数据导出时,EasyExcel具有以下优点: 1. 速度快:EasyExcel采用了基于事件模型的解析方式,可以处理非常大的Excel文件而不会引起内存溢出。它可以将数据直接写到OutputStream中,避免了频繁的IO操作,因此导出速度非常快。 2. 内存消耗较低:EasyExcel使用了一种流式写入的方式,将数据逐行写入Excel文件,这样可以很好地控制内存的消耗。即使处理非常大的数据集,也不会出现内存溢出的问题。 3. 支持多种数据源:EasyExcel支持从各种数据源中读取数据,如数据库、集合、文件等,并可以将数据导出Excel中。这样可以满足不同场景下的数据导出需求。 4. 操作简单EasyExcel提供了简单易用的API,可以方便地配置导出的格式、样式、列宽等。同时,它还支持导出多个Sheet,可以根据具体需求进行灵活配置。 5. 良好的兼容性:EasyExcelExcel文件的兼容性非常好,支持导出.xlsx和.xls格式的文件,同时还支持设置密码、加密和设置单元格样式等功能。这样可以满足不同用户的需求。 无论是导出数据还是大量数据EasyExcel都能够快速高效地完成任务。它的简单易用性、低内存消耗和良好的兼容性使其成为处理大量数据导出的理想工具。 ### 回答2: EasyExcel是一款用于Excel文件读写操作的Java工具库,它提供了简单易用的API以实现大量数据导出功能。以下是使用EasyExcel进行大量数据导出的步骤: 1. 引入EasyExcel库:首先需要在Java项目中引入EasyExcel的依赖库,可以通过Maven或者Gradle等构建工具进行引入。 2. 创建导出模板:在Excel文件中,先创建一个模板,定义好数据的表头和格式。可以指定每列的标题、列宽、格式等,以满足不同的需求。 3. 构建数据源:准备好需要导出数据源,可以通过数据库查询、文件读取等方式获取数据。 4. 创建导出任务:使用EasyExcel的API创建一个导出任务,并指定导出Excel文件路径、模板等参数。 5. 填充数据:通过遍历数据源,将数据逐行填充到Excel文件中。可以使用EasyExcel提供的write方法将数据写入到指定的Sheet中。 6. 设置样式和格式:根据需求,可以对导出数据进行样式和格式的设置,如设置单元格的字体、背景色、边框等。 7. 执行导出操作:执行导出任务,通过调用EasyExcel的API将数据写入到Excel文件中。 8. 导出结果处理:根据导出的结果进行相应的处理,如判断是否导出成功、记录日志等。 使用EasyExcel进行大量数据导出的优势在于其简洁易用的API,可以轻松处理大量数据导出需求。同时,EasyExcel导出速度较快,可以高效地处理大规模的数据导出任务。另外,EasyExcel对于复杂的数据格式和样式也有很好的支持,可以满足不同场景下的导出需求。 ### 回答3: EasyExcel是一款简单易用的Java Excel工具类库,广泛应用于数据导出和导入的场景。对于大量数据导出EasyExcel提供了高效的解决方案。 首先,EasyExcel采用了基于流式操作的方式来处理数据导入导出,不会一次性将所有数据读入内存,而是通过分批加载数据,减小了内存的占用。这样即使数据很大,也能够快速导出。 其次,EasyExcel通过多线程的方式来提升导出速度。通过配置线程数,可以将任务分发给多个线程同时处理,加快导出的速度。同时,EasyExcel支持设置每个线程处理的数据,可以根据服务器性能进行灵活调整,进一步提高导出效率。 另外,EasyExcel支持导出任务拆分为多个子任务进行处理,可以将数据按照某种规则或条件进行拆分,每个子任务独立导出。这样可以充分利用服务器的多核资源,加速导出进程。 总之,EasyExcel通过分批加载数据、多线程处理和子任务拆分等方式,有效解决了大量数据导出的问题。无论是导出百万、千万、亿级的数据,都能够高效快速地完成导出任务。同时,EasyExcel还提供了丰富的API和灵活的配置,方便开发者根据具体需求进行定制。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 19
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值