解决导出大文件时内存溢出的问题

已于 2023-10-26 13:36:06 修改
阅读量1.6k 收藏 1
点赞数 1
文章标签： windows
于 2023-10-26 13:34:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hua19859210361/article/details/134051090
版权

废话不多说，直接上代码

导入依赖

    <dependencies>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>easyexcel-core</artifactId>
            <version>3.1.0</version>
            <scope>compile</scope>
        </dependency>
    </dependencies>

构建导出大文件工具EasyExcel

import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.support.ExcelTypeEnum;
import org.springframework.beans.BeanUtils;
import org.springframework.lang.Nullable;
import org.springframework.web.context.request.RequestContextHolder;
import org.springframework.web.context.request.ServletRequestAttributes;

import javax.servlet.http.HttpServletResponse;
import javax.validation.constraints.NotNull;
import java.io.IOException;
import java.lang.reflect.InvocationTargetException;
import java.net.URLEncoder;
import java.util.ArrayList;
import java.util.List;

/**
 * 导出工具类
 * @author 
 */
public class EasyExcelUtils {

    /**
     * 导出公共方法
     *
     * @param datas    要导出的数据集
     * @param clazz    导出的实体
     * @param fileName 导出文件名称
     * @throws IOException
     */
    public static void export(List datas, @Nullable Class<?> clazz, String fileName, String sheetName) throws Exception {
        ArrayList arrayList = getArrayList(datas, clazz);

        ServletRequestAttributes sra = (ServletRequestAttributes) RequestContextHolder.getRequestAttributes();
        HttpServletResponse response = sra.getResponse();
        response.setContentType("application/vnd.ms-excel;charset=utf-8");
        // 设置文件名
        String exportFileName = URLEncoder.encode(fileName, "UTF-8");
        //String exportSheetName = URLEncoder.encode(sheetName, "UTF-8");
        response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + exportFileName + ExcelTypeEnum.XLSX.getValue());
        //
        EasyExcel.write(response.getOutputStream(), clazz)
                .excelType(ExcelTypeEnum.XLSX)
                .autoCloseStream(true)
                .sheet(sheetName)
                .doWrite(arrayList);
    }

    @NotNull
    private static ArrayList getArrayList(List datas, Class<?> clazz) throws InstantiationException, IllegalAccessException, NoSuchMethodException, InvocationTargetException {
        ArrayList arrayList = new ArrayList<>(datas.size());
        for (Object source : datas) {
            Object target = clazz.getDeclaredConstructor().newInstance();
            BeanUtils.copyProperties(source, target);
            arrayList.add(target);
        }
        return arrayList;
    }

}

Excel字段实体类

 Excel字段实体类
import com.alibaba.excel.annotation.ExcelProperty;
import com.alibaba.excel.annotation.format.DateTimeFormat;
import com.alibaba.excel.annotation.format.NumberFormat;
import com.alibaba.excel.annotation.ExcelIgnore;

import java.math.BigDecimal;
import java.util.Date;

@Data
public class TradeExcel {
    @ExcelProperty(value = "订单编号")
    @NumberFormat("0")
    private Long tid;
    @ExcelProperty(value = "子订单编号")
    @NumberFormat("0")
    private Long oid;
    @ExcelProperty(value = "所属商家")
    private String shopName;
    @ExcelProperty(value = "公司名称")
    private String companyName;
    @ExcelProperty(value = "超市经理姓名")
    private String accountName;
    @ExcelProperty(value = "超市经理电话")
    private String accountPhone;

    @ExcelIgnore
    @ExcelProperty(value = "店铺类型")
    private String openType;

    @ExcelIgnore
    @ExcelProperty(value = "用户类型")
    private String userType;

    @ExcelProperty(value = "交易类型")
    private String tradeTypeTitle;
    @ExcelProperty(value = "运送方式", converter = ShippingTypeConverter.class)
    private String shippingType;
    @ExcelProperty(value = "商品重量")
    private BigDecimal totalWeight;
    @ExcelProperty(value = "支付状态", converter = PayStatusConverter.class)
    private String payStatus;
    @ExcelProperty(value = "物流发货状态", converter = ShippingStatusConverter.class)
    private String shippingStatus;
    @ExcelProperty(value = "售后状态", converter = AfterSalesStatusConverter.class)
    private String afterSalesStatus;
    @ExcelProperty(value = "买家是否已评价", converter = BuyerRateConverter.class)
    private String buyerRate;
    @ExcelProperty(value = "订单状态", converter = StatusConverter.class)
    private String status;
    @ExcelProperty(value = "取消订单状态", converter = CancelStatusConverter.class)
    private String cancelStatus;
    @ExcelProperty(value = "取消订单原因")
    private String cancelReason;
    @ExcelProperty(value = "订单投诉状态", converter = ComplaintsStatusConverter.class)
    private String complaintsStatus;

    @ExcelProperty(value = "实际应付金额")
    private BigDecimal payment;
    @ExcelProperty(value = "实际已支付金额")
    private BigDecimal payedFee;
    @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss")
    @ExcelProperty(value = "创建时间")
    private Date createdTime;

    @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss")
    @ExcelProperty(value = "卖家确认时间")
    private Date confirmTime;

    @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss")
    @ExcelProperty(value = "付款时间")
    private Date payTime;

    @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss")
    @ExcelProperty(value = "发货时间")
    private Date consignTime;
}

导出字段类型转换器


import com.alibaba.excel.converters.Converter;
import com.alibaba.excel.enums.CellDataTypeEnum;
import com.alibaba.excel.metadata.GlobalConfiguration;
import com.alibaba.excel.metadata.data.CellData;
import com.alibaba.excel.metadata.data.WriteCellData;
import com.alibaba.excel.metadata.property.ExcelContentProperty;

public class AfterSalesStatusConverter implements Converter<String> {
    @Override
    public Class supportJavaTypeKey() {
        return String.class;
    }

    @Override
    public CellDataTypeEnum supportExcelTypeKey() {
        return CellDataTypeEnum.STRING;
    }

    @Override
    public WriteCellData<String> convertToExcelData(String value, ExcelContentProperty contentProperty,
                                                    GlobalConfiguration globalConfiguration) throws Exception {
        WriteCellData<String> cellData = new WriteCellData();
        if ("SUCCESS".equals(value)) {
            return new WriteCellData<>("退款成功");
        } else if ("CLOSED".equals(value)) {
            return new WriteCellData<>("退款关闭");
        } else if ("REFUNDING".equals(value)) {
            return new WriteCellData<>("退款中");
        } else if ("SELLER_REFUSE_BUYER".equals(value)) {
            return new WriteCellData<>("卖家拒绝退款");
        } else if ("SELLER_SEND_GOODS".equals(value)) {
            return new WriteCellData<>("卖家已发货");
        } else if ("WAIT_SELLER_AGREE".equals(value)) {
            return new WriteCellData<>("买家已经申请退款，等待卖家同意");
        } else if ("WAIT_BUYER_RETURN_GOODS".equals(value)) {
            return new WriteCellData<>("卖家已经同意退款，等待买家退货");
        } else if ("WAIT_SELLER_CONFIRM_GOODS".equals(value)) {
            return new WriteCellData<>("买家已经退货，等待卖家确认收货");
        } else {
            return new WriteCellData<>("");
        }
    }
}

售后状态的转换器，其它字段类型转换以此类推，在实体类中字段后加上转换器的类

converter = AfterSalesStatusConverter.class

映射层查询

    List<TradeExcel> exportOrderAllList(@Param("filter") Map filter);


  <select id="exportOrderAllList" resultType="com.zhdj.mall.common.pojo.dto.systrade.TradeExcel">
    SELECT
    o.oid,
    o.tid,
    o.shipping_status as shippingStatus,
    o.aftersales_status as afterSalesStatus,
    FROM_UNIXTIME(o.pay_time) as payTime,
    FROM_UNIXTIME(o.modified_time) as modifiedTime,
    o.complaints_status as complaintsStatus,
    o.payment,
    o.trade_goods_memo as tradeGoodsMemo,
    t.shipping_type as shippingType,
    t.need_invoice as needInvoice,
    t.is_invoice_done as isInvoiceDone,
    t.invoice_name as invoiceName,
    t.receiver_address as receiverAddress,
    FROM_UNIXTIME(t.created_time) as createdTime,
    FROM_UNIXTIME(t.confirm_time) as confirmTime,
    if (t.last_urge_delivery > 0,FROM_UNIXTIME( t.last_urge_delivery ),null) AS lastUrgeDelivery,
    si.company_name as companyName,
    s.open_type as openType,
    c.name as marketName,
    a.user_type as userType
    FROM
    yyds AS o
    LEFT JOIN 
    LEFT JOIN 
    LEFT JOIN 
    left join 
    left join 
    where 1
    <if test="filter.disabled != null">
      and t.disabled = #{filter.disabled}
    </if>
    <if test="filter.payment != null">
      and t.payment = #{filter.payment}
    </if>
    <if test="filter.tid != null">
      and t.tid = #{filter.tid}
    </if>
    <if test="filter.customerId != null">
      and t.customer_id in
      <foreach collection="filter.customerId" item="cId" open="(" separator="," close=")">
        #{cId}
      </foreach>
    </if>
    <if test="filter.needInvoice != null">
      and t.need_invoice = #{filter.needInvoice}
    </if>
    <if test="filter.isInvoiceDone != null">
      and t.is_invoice_done = #{filter.isInvoiceDone}
    </if>
    <if test="filter.catIdList != null">
      and o.cat_id in
      <foreach collection="filter.catIdList" item="catId" open="(" separator="," close=")">
        #{catId}
      </foreach>
    </if>
    <if test="filter.shopIdList != null">
      and t.shop_id in
      <foreach collection="filter.shopIdList" item="shopId" open="(" separator="," close=")">
        #{shopId}
    </if>
    <if test="filter.status != null">
      and t.status in
      <foreach collection="filter.status" item="status" open="(" separator="," close=")">
        #{status}
      </foreach>
    </if>
    <if test="filter.payStatus != null">
      and t.pay_status in
      <foreach collection="filter.payStatus" item="payStatus" open="(" separator="," close=")">
        #{payStatus}
      </foreach>
    </if>
    <if test="filter.shippingStatus != null">
      and t.shipping_status in
      <foreach collection="filter.shippingStatus" item="shippingStatus" open="(" separator="," close=")">
        #{shippingStatus}
      </foreach>
    </if>
    <if test="filter.cancelStatus != null">
      and t.cancel_status in
      <foreach collection="filter.cancelStatus" item="cancelStatus" open="(" separator="," close=")">
        #{cancelStatus}
      </foreach>
    </if>
    <if test="filter.createdTimeStart != null and filter.createdTimeEnd != null">
      and t.created_time <![CDATA[>=]]> #{filter.createdTimeStart} and t.created_time <![CDATA[<=]]> #{filter.createdTimeEnd}
    </if>
    <if test="filter.tradeType != null">
      and t.trade_type = #{filter.tradeType}
    </if>
    <if test="filter.openType != null">
      and s.open_type = #{filter.openType}
    </if>
    <if test="filter.userType != null">
      and a.user_type = #{filter.userType}
    </if>
    <if test="filter.orderField != null">
      order by ${filter.orderField} ${filter.order}
    </if>
  </select>

SERVICE层

@Override
    public void exportAll(HttpServletResponse response, HashMap<String, Object> params) {
        try {
            Map<String, Object> searchCondition = getSearchConditionMap(params);
            List<TradeExcel> list = systradeOrderMapper.exportOrderAllList(searchCondition);
            list.forEach(this::getTradeFormat);
            String fileName = new String("销售列表" + cn.hutool.core.date.DateUtil.format(new Date(), "yyyyMMddHHmmss"));
            EasyExcelUtils.export(list, TradeExcel.class, fileName, "订单明细");
        } catch (Exception e) {
            throw new RRException(e.getMessage());
        }
    }

控制层

    @GetMapping("export")
    @ApiOperation(value = "导出")
    @ApiImplicitParams({
            @ApiImplicitParam(name = "tid", value = "订单编号", paramType = "query", dataType = "String"),
            @ApiImplicitParam(name = "payment", value = "实付金额", paramType = "query", dataType = "String"),
            @ApiImplicitParam(name = "startDate", value = "查询开始时间", paramType = "query", dataType = "String"),
            @ApiImplicitParam(name = "endDate", value = "查询结束时间", paramType = "query", dataType = "String"),
            @ApiImplicitParam(name = "comStatus", value = "订单状态", paramType = "query", dataType = "int", required = true),
            @ApiImplicitParam(name = "receiverName", value = "收货人姓名", paramType = "query", dataType = "string"),
            @ApiImplicitParam(name = "catId", value = "三级类目查找(多个类目用，区分)", paramType = "query", dataType = "string"),
            @ApiImplicitParam(name = "payStatus", value = "支付状态", paramType = "query", dataType = "string"),
            @ApiImplicitParam(name = "order", value = "排序方式", paramType = "query", dataType = "string"),
            @ApiImplicitParam(name = "orderField", value = "排序字段", paramType = "query", dataType = "string"),
    })
    public void exportAll(HttpServletResponse response, @ApiIgnore @RequestParam HashMap<String, Object> params){
       tradeService.exportAll(response ,params);
    }

筛选查询优化 

    private void setCatName(TradeExcel tradeExcel, List<CatEntity> categoryList) {
        var ThreeLevelCatInfo = categoryList.stream().filter(c -> c.getCatId().equals(tradeExcel.getCatId())).findAny().orElse(null);
        if (ThreeLevelCatInfo != null) {
            tradeExcel.setThreeLevelCatName(ThreeLevelCatInfo.getCatName());
            var TwoLevelCatInfo = categoryList.stream().filter(c -> c.getCatId().equals(ThreeLevelCatInfo.getParentId())).findAny().orElse(null);
            if (TwoLevelCatInfo != null) {
                tradeExcel.setTwoLevelCatName(TwoLevelCatInfo.getCatName());
                var OneLevelCatInfo = categoryList.stream().filter(c -> c.getCatId().equals(TwoLevelCatInfo.getParentId())).findAny().orElse(null);
                if (OneLevelCatInfo != null) {
                    tradeExcel.setOneLevelCatName(OneLevelCatInfo.getCatName());
                }
            }
        }
    }

总结：

本文主要列举了开发过程中常用的导出列表以及操作数据库的方法及相关配置。应该可以应付百分之八十以上的需求了吧。之后有时间，会进行补充的，比如自定义插件、大批量数据的写法等。

最后 

若文中有错误或者遗漏之处，还望指出，共同进步！

搞100个实习生干活！
关注
java使用io文件输出内存溢出_完美解决java读取大文件内存溢出的问题
weixin_28685045的博客
03-08 1721
1. 传统方式：在内存中读取文件内容读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法：Files.readLines(new File(path实际上是使用BufferedReader或者其子类LineNumberReader来读取的。传统方式的问题：是文件的所有行都被存放在内存中，当文件足够大时很快就会导致程序抛出OutOf...
easyexcel替换poi导出大数据量数据时解决内存溢出问题时的一个性能测试
会玩代码的劫
07-09 4475
最近在项目中遇到导出大量数据到excel时发生内存溢出问题，然后看网上有人说用阿里开源的easyexcel性能非常好，我就在本地做了一个关于easyexcel和poi导出100w条一样数据时占用内存情况的测试，内存情况及GC情况用JDK自带的visualVM进行监控。 首先是poi的导出内存情况及代码示例： public class PoiDemo { public static void main(String[] args) { Workbook w = new XSSFWo
解决大批量数据导出Excel产生内存溢出的方案
09-01
解决大批量数据导出Excel产生内存溢出的方案
【开发篇】八、导出大文件导致内存溢出
llg___的博客
03-27 903
推荐使用easyExcel，它采用分批导出，不会让内存中的对象数量达到一个很高的值。虽然这样会让导出的时间长一点，但不会OOM，分批，写完一批就从堆中清掉一批的对象。整体架构如下：客户端通过负载均衡达到Service，底下一堆Pod在干活儿，pod中的容器里运行着微服务。最后，文件的导出，选择导出到阿里云的oss。有个管理系统，支持几十万条数据导出到excel，但当有几十人同时导出文件，就会内存溢出。easyexcel用到的一个excel对应实体类，当前测试只用一列，那就直接一个属性就行。
EasyExcel导出数据量大导致内存溢出
qq_44417140的博客
09-02 478
一次性读入过多数据，如果内存不够大就会导致内存溢出，所以将数据分批处理，最后在EasyExcel导出的时候再汇总导出。至于接口耗时问题，就需要根据实际调整批次的最大数量。
大数据导出Excel导致内存溢出的解决方案
热门推荐
SirLZF的博客
08-12 2万+
一、问题描述： 公司之前的项目中客户有一个需求是将业务数据导出到Excel表中，方便他们对账，单个导出任务数据量近100W，每当月初任务量多时，导出的项目就会内存溢出，挂掉。二、原因分析： 1、每个进程在写Excel文件时，都是先将数据加载到内存，然后再将内存里面的数据生成文件；因此单个进程任务的数据量过大，将无法及时回收系统内存，最终导致系统内存耗尽而宕机。 2、导出中ora
excel导出内存溢出_PHP内存溢出详解
weixin_39805734的博客
11-27 418
相信很多人做大批量数据导出和数据导入的时候，经常会遇到PHP内存溢出的问题，在解决了问题之后，总结了一些经验，整理成文章记录下。优化点优化SQL语句，避免慢查询，合理的建立索引，查询指定的字段，sql优化这块在此就不展开了。查询的结果集为大对象时转数组处理，框架中一般有方法可以转，如Laravel中有toArray(),Yii2中有asArray()。对于大数组进行数据切割处理，PHP函数有arr...
几百万数据量的Excel导出会内存溢出和卡顿？那是你没用对方法！
码猿技术专栏
07-08 5410
点击上方☝码猿技术专栏轻松关注，设为星标！及时获取有趣有料的技术作者：请叫我猿叔叔blog.csdn.net/qq_35206261/article/details/88579151一....
phpExcel导出大量数据出现内存溢出错误的解决方法
10-27
下面将详细探讨如何解决phpExcel导出大量数据时出现的内存溢出问题。 首先，需要了解phpExcel在内存使用上的机制。默认情况下，PHPExcel使用内存来存储单元格信息。这意味着，如果一次性读取或写入大量数据，就很...
POI导出Excel万级数据分页实现 解决内存溢出问题
09-17
然而，当处理大量数据时，直接使用POI导出Excel可能会遇到内存溢出问题，因为POI将整个工作簿加载到内存中。本项目演示了如何通过分页方式解决这个问题，避免一次性加载过多数据导致的性能瓶颈。 首先，理解POI的...
大数据excel导出，内存溢出解决方案（SXSSF流用户模型）
wyazyf
07-27 2167
SXSSF（流用户模型 API） SXSSF（包：org.apache.poi.xssf.streaming）是 XSSF 的一个 API 兼容的流扩展，当必须生成非常大的电子表格并且堆空间有限时使用。SXSSF 通过限制对滑动窗口内的行的访问来实现其低内存占用，而 XSSF 允许访问文档中的所有行。不再出现在窗口中的旧行将无法访问，因为它们被写入磁盘。 您可以在工作簿构建时通过new SXSSFWorkbook(int windowSize)指定窗口大小，也可以通过SXSSFSheet#setRan.
java解决大批量数据导出Excel产生内存溢出的方案
09-26
java解决大批量数据导出Excel产生内存溢出的方案
解决Java导入excel大量数据出现内存溢出的问题
08-27
今天小编就为大家分享一篇解决Java导入excel大量数据出现内存溢出的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
导入/导出内存溢出解决方案
c843964653的博客
05-18 1017
1.0 场景 在很多业务上，例如商城商品，批量导入功能，批量下载功能，订单导出，会员导入等功能； 1.1 导入导出升级 1.1.1 同步版本 点击下载/或者导入->触发后台业务->执行相关业务->返回数据和状态 优点：开发简单，易上手 缺点：数据过大，容易超时；导入导出触发过多时，占用大量服务资源，易导致内存溢出 1.1.2 异步队列导入导出功能 大概流程给出，里面一些替代方法，可以根据各自公司技术栈来替代，例如心跳3s（要是项目有socket推送，也可以借助它来做） 优点：可以控制导入导
Java excel大批量图片数据导出解决内存溢出问题
qq_45396088的博客
01-16 1386
如果使用poi直接将所有图片一张张写到excel里，最后excel里图片达到10000张之后，内存就快爆掉了，所以，使用该方法将图片写到磁盘里，最后一次性替换掉，目前没有找到更好的方法，暂时使用该方法试试看。
解决大批量数据导出Excel产生内存溢出的方案（二）
cnaning的专栏
03-11 445
客户要求一次导出20w行数据，这就要求导出的文件必须带sheet，上面的代码也不支持sheet，下面的就可以了： Java代码 @SuppressWarnings("unchecked")    public class XlsMergeUtil {      private static Logger logger = LoggerFactory.getLogger(XlsMergeU...
excel导出时内存溢出
hello world
03-05 1290
今天项目中导出9000多条记录时出现 java.lang.OutOfMemoryError: Java heap space 错误。 刚开始以为是用apach POI 导出的excel数据过多会报错，在网上查了之后才发现，别人导出几十万才会出这种错，真的是小巫见大巫了！ 于是我检查了我的程序，把部分代码优化了一下，并且把excel分成了好几个sheet（网上查到一个sheet最多允许6000多
php的原生导出Excel 解决excel导出内存溢出问题
最新发布
09-28
PHP原生处理大型Excel文件可能会遇到内存溢出的问题，这是因为一次性将所有数据加载到内存中可能导致内存消耗过大。为了解决这个问题，可以采用分块读取和写入的方式，结合PHPExcel或类似库如Spreadsheet_Excel_Writer这样的工具来逐行或逐列处理数据。 PHPExcel库允许你按需加载工作表的数据，而不是一次性全部加载。例如，你可以创建一个循环，每次只读取并处理一小部分数据，然后再写入到Excel文件中： ```php use PHPExcel_IOFactory; // 假设你有一个大数据集$data $chunkSize = 1000; // 每次处理的行数 for ($i = 0; $i < count($data); $i += $chunkSize) { $chunkData = array_slice($data, $i, $chunkSize); // 创建一个新的PHPExcel实例 $objPHPExcel = PHPExcel_IOFactory::createPHPExcelObject(); // 写入数据到工作表 foreach ($chunkData as $row) { $objPHPExcel->getActiveSheet()->setCellValueByColumnAndRow(0, $i / $chunkSize + 1, $row['column_name']); } // 将数据保存到临时文件，然后合并成最终文件 $tmpFile = tempnam(sys_get_temp_dir(), 'export'); $objPHPExcel->save($tmpFile); // 处理完一块后删除临时文件，释放内存 unlink($tmpFile); } // 最后将所有的临时文件合并成一个完整的Excel文件 $finalFile = 'output.xlsx'; PHPExcel_IOFactory::load('tempfile1.xlsx')->mergeCells('A1:A' . (count($data) / $chunkSize + 1)); // ...重复此过程，将其他临时文件合并 PHPExcel_IOFactory::save($finalFile); ``` 使用这种方法可以避免内存溢出，并且能够处理非常大的数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值