关于数据导出的一些经验总结,包括excel页面负载跟堆内存溢出

最新推荐文章于 2024-01-17 09:00:00 发布
最新推荐文章于 2024-01-17 09:00:00 发布
阅读量517 收藏 1
点赞数
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43829190/article/details/122477931
版权

数据导出的基本思路

通过查询数据库中的数据,生成excel文件

@PostMapping("/exportExcelAll")
    public AjaxResult exportExcelAll(@RequestBody QueryBodys queryBodys,HttpServletResponse response)throws Exception{
        List<String> ids = zhUserService.getSonDepartment(queryBodys.getParentDepartment());
        List<CxdckExport> exportAllData = zhCxdckService.getExportAllData(queryBodys, ids);
        ExcelUtils excelUtils = new ExcelUtils();
        SXSSFWorkbook hssfWorkbook = new SXSSFWorkbook(60000);
        hssfWorkbook = excelUtils.exportExcel2(exportAllData, CxdckExport.class);
        // 文件默认下载到桌面
        String path = File.separator+"车险代查勘"+DateUtil.format(new Date(),"yyyy年MM月dd日HH时mm分ss秒")+".xls";
        File f = new File(path);
        if(f.exists()){
            f.mkdirs();
        }
        OutputStream stream = new FileOutputStream(f);
        hssfWorkbook.write(stream);
        hssfWorkbook.close();
        stream.close();
        System.out.println("导出文件已经结束");
        return AjaxResult.success(path);
    }

导出方法

 public <T> HSSFWorkbook exportExcel1(List<T> dataList, Class<T> classType,String sheetName) throws Exception {
        Field[] declaredFields = classType.getDeclaredFields();
        List<String> headers = new LinkedList<>();
        List<String> variables = new LinkedList<>();
        HSSFWorkbook hssfWorkbook = new HSSFWorkbook();
        //创建sheet
			HSSFSheet hssfSheet = hssfWorkbook.createSheet();
            HSSFRow row = hssfSheet.createRow(0);
            hssfWorkbook.setSheetName(0, sheetName);
            int headerIndex = 0;
            //创建导入实体的字段名称
            for (Field field : declaredFields) {
                if (field.isAnnotationPresent(ExcelHeader.class)) {
                    ExcelHeader annotation = field.getAnnotation(ExcelHeader.class);
                    headers.add(annotation.name());
                    row.createCell(headerIndex).setCellValue(annotation.name());
                    variables.add(field.getName());
                    headerIndex += 1;
                }
            }
            //循环传入值
            for (int i = 0; i < dataList.size(); i++) {
                HSSFRow rowData = hssfSheet.createRow(i + 1);
                T t = dataList.get(i);
                Class<?> aClass = t.getClass();
                for (int j = 0; j < variables.size(); j++) {
                    Field declaredField = aClass.getDeclaredField(variables.get(j));
                    declaredField.setAccessible(true);
                    String key = declaredField.getName();
                    Object o = declaredField.get(t);
                    if ("null".equals(String.valueOf(o))) {
                        rowData.createCell(j).setCellValue("");
                    } else {
                        rowData.createCell(j).setCellValue(String.valueOf(o));
                    }
                }
            }
        }
        hssfWorkbook.close();
        return hssfWorkbook;

注解反射的使用

@Target(ElementType.FIELD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface ExcelHeader {

    String name() default "";

    int columnIndex() default 0;
}

//导入数据的实体

@Data
public class CxdckExport {
    /**
     * id
     */
    private Long cxdckId;
    /**
     * 委托方名称
     */
    @ExcelHeader(name = "委托方")
    private String cName;


    /**
     * 催收信息id
     */
    private Long csInfoId;

    /**
     * 案件是否委托确认(0:是;1:否)
     */

    private String caseClien;

    @ExcelHeader(name = "案件是否委托确认")
    private String caseClienName;

    /**
     * 案件是否可查询(0:是;1:否)
     */
    private String caseCanQuery;

    @ExcelHeader(name="案件是否可查询")
    private String caseCanQueryName;

    /**
     * 不可查询原因
     */
    @ExcelHeader(name="不可查询原因")
    private String queryReson;
    /**
     * 结案情况
     */
    @ExcelHeader(name="结案情况")
    private String caseInfo;

    /**
     * 公估费录入情况
     */
    @ExcelHeader(name="公估费录入情况")
    private String ggInfo;

    /**
     * 公估发票接受情况
     */
    @ExcelHeader(name="公估发票接受情况")
    private String ggfpInfo;

    /**
     * 费用支付情况
     */
    @ExcelHeader(name="费用支付情况")
    private String costInfo;

    /**
     * 是否有跟踪信息信息
     */
    private String caseTrack;

    @ExcelHeader(name = "是否有跟踪信息")
    private String caseTrackName;

    /**
     * 日常表id
     */
    private Long dailyId;

    /**
     * 反馈内容
     */
    @ExcelHeader(name="反馈内容")
    private String feedback;

    /**
     * 委托单位名称
     */
    @ExcelHeader(name = "委托单位名称")
    private String clientDepartment;
    /**
     * 委托单位联系人姓名
     */
    @ExcelHeader(name = "委托单位联系人姓名")
    private String clientContactName;
    /**
     * 委托单位联系人电话
     */
    @ExcelHeader(name = "委托单位联系人电话")
    private String clientContactPhone;
    /**
     * 委托人姓名
     */
    @ExcelHeader(name = "委托人姓名")
    private String clientName;
    /**
     * 委托人身份证号码
     */
    @ExcelHeader(name = "委托人身份证号")
    private String clientIdCard;
    /**
     * 委托人电话号码
     */
    @ExcelHeader(name = "委托人电话号码")
    private String clientPhone;
    /**
     * 委托渠道名称
     */
    @ExcelHeader(name = "委托渠道")
    private String clientChannelName;
    /**
     * 业务来源部门名称
     */
    @ExcelHeader(name = "业务来源部门")
    private String businessSourceName;
    /**
     * 所属部门或事业部名称
     */
    @ExcelHeader(name = "所属部门或事业部")
    private String fromDepartmentName;
    /**
     * 业务处理部门名称
     */
    @ExcelHeader(name = "业务处理部门")
    private String businessProcessingDepartmentName;
    /**
     * 业务性质名称
     */
    @ExcelHeader(name = "业务性质")
    private String businessNatureName;
    /**
     * 案件编号
     */
    @ExcelHeader(name = "案件编号")
    private String caseNo;
    /**
     * 委托时间
     */
    @ExcelHeader(name = "委托时间")
    private String clientTime;
    /**
     * 报案号
     */
    @ExcelHeader(name = "报案号")
    private String toCaseNo;
    /**
     * 车牌号
     */
    @ExcelHeader(name = "车牌号")
    private String carNo;
    /**
     * 票据号
     */
    @ExcelHeader(name = "票据号")
    private String ticketNo;
    /**
     * 开票时间
     */
    @ExcelHeader(name = "开票时间")
    private String ticketTime;
    /**
     * 开票人名称
     */
    @ExcelHeader(name = "开票人")
    private String ticketPeopleName;
    /**
     * 开票金额
     */
    @ExcelHeader(name = "开票金额")
    private BigDecimal ticketAmount;
    /**
     * 开票单位
     */
    @ExcelHeader(name = "开票单位")
    private String ticketDepartment;
    /**
     * 开票状态名称
     */
    @ExcelHeader(name = "开票状态")
    private String ticketStatusName;
    /**
     * 到账金额
     */
    @ExcelHeader(name = "到账金额")
    private BigDecimal amountReceived;
    /**
     * 到账日期
     */
    @ExcelHeader(name = "到账日期")
    private String receivedDate;
    /**
     * 核销时间
     */
    @ExcelHeader(name = "核销时间")
    private String writeOffTime;

    /**
     * 催收日常序号
     */
    @ExcelHeader(name="催收日常序号")
    private String infoId;
    /**
     * 跟踪时间
     */
    @ExcelHeader(name="跟踪时间")
    private String trackTime;
    /**
     * 跟踪人
     */
    @ExcelHeader(name="跟踪人")
    private String track;
    /**
     * 催收日常反馈
     */
    @ExcelHeader(name="催收日常反馈")
    private String dailyFeedback;
    /**
     * 催收日常备注
     */
    @ExcelHeader(name="催收日常备注")
    private String note;
}

bug的解决

1.关于excel的单sheet最大限制65535行
通过循环多sheet解决

    public <T> HSSFWorkbook exportExcel1(List<T> dataList, Class<T> classType,HSSFWorkbook hssfWorkbook) throws Exception {
        Field[] declaredFields = classType.getDeclaredFields();
        List<String> headers = new LinkedList<>();
        List<String> variables = new LinkedList<>();
        //HSSFWorkbook hssfWorkbook = new HSSFWorkbook();
        if(dataList.size()/50000 > 0){
            for(int m = 1;m <= dataList.size()/50000+1;m++){
                HSSFSheet hssfSheet = hssfWorkbook.createSheet();
                HSSFRow row = hssfSheet.createRow(0);
               // hssfWorkbook.setSheetName(0, sheetName);
                int headerIndex = 0;
                for (Field field : declaredFields) {
                    if (field.isAnnotationPresent(ExcelHeader.class)) {
                        ExcelHeader annotation = field.getAnnotation(ExcelHeader.class);
                        headers.add(annotation.name());
                        row.createCell(headerIndex).setCellValue(annotation.name());
                        variables.add(field.getName());
                        headerIndex += 1;
                    }
                }
                for (int i = 50000*(m-1); i < 50000*m && i<dataList.size(); i++) {
                    HSSFRow rowData;
                    if(m != 1){;
                        rowData = hssfSheet.createRow(i%(50000*(m-1)) + 1);}
                    else {
                        rowData = hssfSheet.createRow(i+1);
                    }
                    T t = dataList.get(i);
                    Class<?> aClass = t.getClass();
                    for (int j = 0; j < variables.size(); j++) {
                        Field declaredField = aClass.getDeclaredField(variables.get(j));
                        declaredField.setAccessible(true);
                        String key = declaredField.getName();
                        Object o = declaredField.get(t);
                        if ("null".equals(String.valueOf(o))) {
                            rowData.createCell(j).setCellValue("");
                        } else {
                            rowData.createCell(j).setCellValue(String.valueOf(o));
                        }
                    }
                }
            }
        }else {
            HSSFSheet hssfSheet = hssfWorkbook.createSheet();
            HSSFRow row = hssfSheet.createRow(0);
           // hssfWorkbook.setSheetName(0, sheetName);
            int headerIndex = 0;
            for (Field field : declaredFields) {
                if (field.isAnnotationPresent(ExcelHeader.class)) {
                    ExcelHeader annotation = field.getAnnotation(ExcelHeader.class);
                    headers.add(annotation.name());
                    row.createCell(headerIndex).setCellValue(annotation.name());
                    variables.add(field.getName());
                    headerIndex += 1;
                }
            }
            for (int i = 0; i < dataList.size(); i++) {
                HSSFRow rowData = hssfSheet.createRow(i + 1);
                T t = dataList.get(i);
                Class<?> aClass = t.getClass();
                for (int j = 0; j < variables.size(); j++) {
                    Field declaredField = aClass.getDeclaredField(variables.get(j));
                    declaredField.setAccessible(true);
                    String key = declaredField.getName();
                    Object o = declaredField.get(t);
                    if ("null".equals(String.valueOf(o))) {
                        rowData.createCell(j).setCellValue("");
                    } else {
                        rowData.createCell(j).setCellValue(String.valueOf(o));
                    }
                }
            }
        }
        hssfWorkbook.close();
        return hssfWorkbook;
    }

2.关于导入数据过多致使堆内存溢出
解决的办法是将HSSFWorkbook替换成SXSSFWorkbook,

//SXSSFWorkbook可以设置内存的最大阈值,内存中的对象数量最大值，超过这个值会生成一个临时文件存放到硬盘中,这样就不会报堆内存溢出异常
SXSSFWorkbook sx = new SXSSFWorkbook(60000);

修改代码如下

public <T> SXSSFWorkbook exportExcel2(List<T> dataList, Class<T> classType) throws Exception {
        Field[] declaredFields = classType.getDeclaredFields();
        List<String> headers = new LinkedList<>();
        List<String> variables = new LinkedList<>();
        SXSSFWorkbook hssfWorkbook = new SXSSFWorkbook();
        if(dataList.size()/50000 > 0){
            for(int m = 1;m <= dataList.size()/50000+1;m++){
                SXSSFSheet hssfSheet = hssfWorkbook.createSheet();
                SXSSFRow row = hssfSheet.createRow(0);
                //hssfWorkbook.setSheetName(0, sheetName);
                int headerIndex = 0;
                for (Field field : declaredFields) {
                    if (field.isAnnotationPresent(ExcelHeader.class)) {
                        ExcelHeader annotation = field.getAnnotation(ExcelHeader.class);
                        headers.add(annotation.name());
                        row.createCell(headerIndex).setCellValue(annotation.name());
                        variables.add(field.getName());
                        headerIndex += 1;
                    }
                }
                for (int i = 50000*(m-1); i < 50000*m && i<dataList.size(); i++) {
                    SXSSFRow rowData;
                    if(m != 1){;
                        rowData = hssfSheet.createRow(i%(50000*(m-1)) + 1);}
                    else {
                        rowData = hssfSheet.createRow(i+1);
                    }
                    T t = dataList.get(i);
                    Class<?> aClass = t.getClass();
                    for (int j = 0; j < variables.size(); j++) {
                        Field declaredField = aClass.getDeclaredField(variables.get(j));
                        declaredField.setAccessible(true);
                        String key = declaredField.getName();
                        Object o = declaredField.get(t);
                        if ("null".equals(String.valueOf(o))) {
                            rowData.createCell(j).setCellValue("");
                        } else {
                            rowData.createCell(j).setCellValue(String.valueOf(o));
                        }
                    }
                }
//                hssfWorkbook.close();
            }
        }else {
            SXSSFSheet hssfSheet = hssfWorkbook.createSheet();
            SXSSFRow row = hssfSheet.createRow(0);
            //hssfWorkbook.setSheetName(0, sheetName);
            int headerIndex = 0;
            for (Field field : declaredFields) {
                if (field.isAnnotationPresent(ExcelHeader.class)) {
                    ExcelHeader annotation = field.getAnnotation(ExcelHeader.class);
                    headers.add(annotation.name());
                    row.createCell(headerIndex).setCellValue(annotation.name());
                    variables.add(field.getName());
                    headerIndex += 1;
                }
            }
            for (int i = 0; i < dataList.size(); i++) {
                SXSSFRow rowData = hssfSheet.createRow(i + 1);
                T t = dataList.get(i);
                Class<?> aClass = t.getClass();
                for (int j = 0; j < variables.size(); j++) {
                    Field declaredField = aClass.getDeclaredField(variables.get(j));
                    declaredField.setAccessible(true);
                    String key = declaredField.getName();
                    Object o = declaredField.get(t);
                    if ("null".equals(String.valueOf(o))) {
                        rowData.createCell(j).setCellValue("");
                    } else {
                        rowData.createCell(j).setCellValue(String.valueOf(o));
                    }
                }
            }
//            hssfWorkbook.close();
        }
        return hssfWorkbook;
    }

至此问题解决,有问题求指出

常怀报国志,何处不为家
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
解决大批量数据导出Excel产生内存溢出的方案
09-01
解决大批量数据导出Excel产生内存溢出的方案
导出进程的堆内存镜像
weixin_30955617的博客
02-01 99
jmap -dump:format=b,file=./heap.bin PID 转载于:https://www.cnblogs.com/passgodloading/p/10345827.html
完美解决因数据库一次查询数据量过大导致的内存溢出问题
08-27
今天小编就为大家分享一篇完美解决因数据库一次查询数据量过大导致的内存溢出问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【JVM调优系列】如何导出堆内存文件
最新发布
檀越的博客
01-17 8208
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
导出数据量大的报表内存溢出怎么办？
xiaohuihui_1992的博客
06-19 1216
导出报表内存溢出很可能是因为数据全内存导致的，得采用流式（分批）导出的方式。如果报表是自己写代码开发的，可以借助诸如 POI 等开源包实现流式导出，代码有点长，供参考：https://blog.csdn.net/gw5205566/article/details/100044236 如果使用报表工具开发的报表，就要看看工具本身支不支持了，有的报表工具可以支持报表异步分页呈现、报表流式（分批）导出 Excel、打印这些功能，直接用比较方便，供参考： 海量清单与分组报表的实现 ，这个目前测过几百万条的报表导出
POI导出Excel万级数据分页实现 解决内存溢出问题
09-17
然而，当处理大量数据时，直接使用POI导出Excel可能会遇到内存溢出问题，因为POI将整个工作簿加载到内存中。本项目演示了如何通过分页方式解决这个问题，避免一次性加载过多数据导致的性能瓶颈。 首先，理解POI的...
phpExcel导出大量数据出现内存溢出错误的解决方法
01-20
1、将单元格数据序列化后保存在内存中 复制代码 代码如下: PHPExcel_CachedObjectStorageFactory::cache_in_memory_serialized; 2、将单元格序列化后再进行Gzip压缩，然后保存在内存中 复制代码 代码如下: PHPExcel...
C#大量数据导出到Excel自动分页导出
04-25
C#大量数据导出到Excel，超过65536行时自动分页导出
js实现数据导出为EXCEL（支持大量数据导出）
10-15
总结来说，JavaScript实现数据导出为Excel涉及多种技术，包括DOM操作、CSV生成、Base64编码、以及跨浏览器的兼容性处理。对于大量数据，需要特别关注性能优化，如分块处理和服务器端处理，以提供更好的用户体验。
大数据导出Excel导致内存溢出的解决方案
SirLZF的博客
08-12 2万+
一、问题描述： 公司之前的项目中客户有一个需求是将业务数据导出到Excel表中，方便他们对账，单个导出任务数据量近100W，每当月初任务量多时，导出的项目就会内存溢出，挂掉。二、原因分析： 1、每个进程在写Excel文件时，都是先将数据加载到内存，然后再将内存里面的数据生成文件；因此单个进程任务的数据量过大，将无法及时回收系统内存，最终导致系统内存耗尽而宕机。 2、导出中ora
堆内存查看工具(heapmemview)
01-05
一个老外编写的堆内存查看工具，很不错。可以帮助你分析进程在内存堆栈情况。
JVM导出内存映像（dump）文件
qq_34690003的博客
04-19 4706
format=b是通过二进制的意思，-dump:format=b,file=heap.bin意思是：把内存结构全部dump到二进制文件heap.bin中。Heap Dump 又叫做堆存储文件，指一个 Java 进程在某个时间点的内存快照。一般来说，使用 jmap 指令生成 dump 文件的操作算得上是最常用的 jmap 命令之一，将堆中所有。jmap 能查看jvm内存中，对象占用内存的情况，还提供非常方便的命令将jvm的内存信息导出的文件。就可以将我们刚刚使用jmap导出的内存信息交给jhat解析了。
阿里云导出负载均衡SLB实例数据
weixin_46335835的博客
09-26 288
前言 阿里云工作台支持调用openapi完成一系列操作，因为公司需要定期导出实例配置统计，所以尝试写了个python脚本。 api调用：aliyun-python-sdk-slb 说明 aliyun_Client模块为自定义模块，可以参考https://blog.csdn.net/weixin_46335835/article/details/120264405?spm=1001.2014.3001.5502 脚本分为两部分，第一部分：获取实例ID，第二部分采集实例数据 第一部分脚本命名：aliyun_S
解决POI读取Excel内存溢出的问题
热门推荐
死牛崇拜的专栏
11-02 7万+
Office软件一直是一个诲誉参半的软件，广大普通计算机用户用Office来满足日常办公需求，于是就产生了很多生产数据和文档，需要和企业单位的专用办公系统对接，而Office的解析工作一直是程序员非常头痛的问题，经常招致程序员的谩骂，也被誉为是微软最烂的发明之一。POI的诞生解决了Excel的解析难题（POI即“讨厌的电子表格”，确实很讨厌，我也很讨厌Excel），但如果用不好POI，也会导致程序
记一次解决poi XSSFWorkbook导出excel内存溢出换成SXSSFWorkbook还是内存溢出的问题
weixin_38008837的博客
10-11 7308
1、需求背景 工作中同事遇到一个导出excel内存溢出的问题，让我帮忙解决。一个excel大约有800个sheet页。原写法使用的XSSFWorkbook写入导出。百度了下了解到应该替换成SXSSFWorkbook，因为SXSSFWorkbook可以设置写入多少条就会生成临时文件保存到磁盘，释放占用内存以此来控制占用内存大小。但是我看了几个例子更换成SXSSFWorkbook以后，依然内存溢出!!! 2、解决过程 先是尝试改动窗口大小（百度的全是这个方法，然而并不管用），...
5.堆内存溢出以及导出Excel表格超时问题解决（性能优化心得）
CAT
05-12 787
业务场景是主要是查询或者导出某家分销商一个月内产生的退票退款订单数据。由于涉及到机密数据，因此不便展示效果图。只记录一下遇到的两个经典的问题以及解决思路以供参考。 出现的问题： 因为测试环境测试不出生产环境的问题，生产环境订单量较大，我看了一下订单加在一起有三千多万条，因此部署到生产环境之后导出功能出现了两个问题，一个是内存溢出，另一个是导出超时。 思路: 因为导出的数据格式和查询的数据格式相同...
大批量数据导出Excel产生内存溢出解决方案
口乃心之门户
05-07 809
[code="java"]@SuppressWarnings("unchecked") public class XlsMergeUtil { private static Logger logger = LoggerFactory.getLogger(XlsMergeUtil.class); /** * 将多个Xls文件合并为一个，适用于只有一个sheet，并且格式相同的文档...
easyexcel 导出excel 堆内存溢出
09-09
通过EasyExcel的优化，可以将一个大问题划分为多个小问题，再逐个优化小问题，从而解决Excel导出时的堆内存溢出问题。这种分治的思想可以帮助我们实现看似不可行的任务。 在EasyExcel导出Excel时，可以采用分页查询...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值