数据导出过大导致内存占满及探活失败问题的排查分析及解决方案

背景介绍

在微服务架构中，Kubernetes 使用 Liveness Probe 来监控应用程序的健康状态，并在探测失败时重启容器。当应用程序在处理大规模数据导出时，例如导出 600 万条记录到内存中，容易导致内存占满。这不仅会引发性能问题，还可能导致 Liveness Probe 失败，从而使 Kubernetes 重启容器，影响服务的稳定性。

本文将详细分析数据导出过大导致的内存占满及探活失败问题，并提供详细的排查和解决方案。

问题分析

1. 内存占满的原因

在一次性加载大规模数据到内存中时，内存消耗急剧增加。如果内存不足，系统将开始使用交换空间，导致性能严重下降，最终可能导致应用程序无响应，Liveness Probe 探测失败。

2. Liveness Probe 失败的原因

当应用程序无响应或响应变慢时，Kubernetes 的 Liveness Probe 将无法在设定的超时时间内获取到预期的响应，从而判定应用程序已失效，导致容器被重启。

报错分析

结合k8s服务状态发现重启次数大于0，错误日志显示探活接口timeout
当内存占满时，系统日志中可能出现以下错误信息：

Liveness probe failed: Get "http://<pod-ip>:8080/api/status/live": context deadline exceeded (Client.Timeout exceeded while awaiting headers)

这表示 Liveness Probe 超时，未能在设定的时间内获取到应用程序的健康状态，从而导致探测失败。

排查步骤

1. 检查系统资源：使用监控工具（如 Prometheus 和 Grafana）检查系统的 CPU 和内存使用情况，确认是否有内存占满的问题。
2. 分析应用日志：查看应用程序的日志，寻找内存不足或超时的相关错误信息。
3. 检查 Kubernetes 配置：查看 Kubernetes 的 Liveness Probe 配置和资源限制，确认是否合理。

解决方案

1. 使用 cn.hutool.poi.excel.ExcelUtil#getBigWriter() 优化数据导出

• 最初使用 cn.hutool.poi.excel.ExcelUtil#getWriter() 方法创建的是普通的 ExcelWriter，并不会将数据流式写入磁盘；
• ExcelUtil#getBigWriter() 方法基于 Apache POI 的 SXSSFWorkbook 实现流式写入，能够有效处理大数据集而不会占满内存。

原理

SXSSFWorkbook 使用流式写入技术，只在内存中保留一定数量的行，当缓冲区达到设定大小时，最早的行会被写入磁盘并从内存中移除，从而显著降低内存使用量。

示例代码

以下示例展示了如何使用 ExcelUtil#getBigWriter() 方法进行大数据集的流式写入：

import cn.hutool.poi.excel.ExcelUtil;
import cn.hutool.poi.excel.ExcelWriter;

import java.util.ArrayList;
import java.util.List;

public class LargeDataExport {
    public static void main(String[] args) {
        // 创建 BigWriter
        ExcelWriter writer = ExcelUtil.getBigWriter("path/to/large_file.xlsx");

        // 准备数据
        List<List<String>> rows = new ArrayList<>();
        for (int i = 0; i < 6000000; i++) {
            List<String> row = new ArrayList<>();
            row.add("Row " + i);
            row.add("Data " + i);
            rows.add(row);
            // 每1000行写入一次
            if (i % 1000 == 0) {
                writer.write(rows, true);
                rows.clear();
            }
        }
        // 处理剩余数据
        if (!rows.isEmpty()) {
            writer.write(rows, true);
        }

        // 关闭 writer，释放内存
        writer.close();
    }
}

2. 调整 Kubernetes 配置

调整 Liveness Probe 配置

增加 Liveness Probe 的初始延迟和超时时间，确保在高负载情况下应用程序有足够的时间响应：

livenessProbe:
  httpGet:
    path: /api/status/live
    port: 8080
  initialDelaySeconds: 60  # 初始延迟时间
  timeoutSeconds: 10       # 超时时间
  periodSeconds: 10        # 探测间隔时间
  failureThreshold: 5      # 失败阈值

增加资源限制和请求

为应用程序分配更多的内存和 CPU 资源，以确保在高负载情况下有足够的资源处理请求：

resources:
  limits:
    memory: "4Gi"
    cpu: "2000m"
  requests:
    memory: "2Gi"
    cpu: "1000m"

3. 监控和预警

设置监控和预警系统，及时发现内存使用异常。可以使用 Prometheus 和 Grafana 监控内存使用情况，并设置报警策略。

示例综合配置

以下是一个综合了上述优化措施的示例 Kubernetes 配置：

apiVersion: v1
kind: Pod
metadata:
  name: data-exporter
spec:
  containers:
    - name: exporter
      image: your-image
      resources:
        limits:
          memory: "4Gi"
          cpu: "2000m"
        requests:
          memory: "2Gi"
          cpu: "1000m"
      livenessProbe:
        httpGet:
          path: /api/status/live
          port: 8080
        initialDelaySeconds: 60
        timeoutSeconds: 10
        periodSeconds: 10
        failureThreshold: 5

总结

通过使用 cn.hutool.poi.excel.ExcelUtil#getBigWriter() 方法进行流式写入，可以有效避免大数据集导出时的内存占满问题。同时，调整 Kubernetes 的 Liveness Probe 配置和资源限制，确保应用程序在高负载情况下仍然稳定运行。设置监控和预警系统可以及时发现和解决内存使用异常，从而提高系统的稳定性和可靠性。

这些措施能够有效解决数据导出过大导致的内存占满及探活失败问题，确保服务的高可用性。