k8s node soft lockup (内核软死锁) 优化方案

在 Kubernetes 环境中，Node 节点的内核软死锁（soft lockup）是一个严重的稳定性问题，可能导致节点无响应、Pod 调度失败甚至数据丢失。以下是针对该问题的优化策略和解决方案：

一、临时缓解措施

1. 调整内核 watchdog 阈值

增加软死锁检测时间，减少误报（但不解决根本问题）：

# 临时调整（重启后失效）
sysctl -w kernel.watchdog_thresh=30  # 默认 10 秒

# 永久调整（/etc/sysctl.conf）
echo "kernel.watchdog_thresh=30" >> /etc/sysctl.conf
sysctl -p

2. 禁用不必要的内核模块

检查并禁用可能导致死锁的内核模块（如某些网卡驱动）：

# 临时禁用
modprobe -r <module_name>

# 永久禁用（/etc/modprobe.d/blacklist.conf）
echo "blacklist <module_name>" >> /etc/modprobe.d/blacklist.conf

如何确定哪些内核模块导致了软锁死？ 

参考：Linux操作系统如何确定哪些内核模块导致了软锁死？ -CSDN博客

二、硬件层面优化

1. 检查硬件健康状态

# 查看 CPU 温度
sensors

# 检查内存错误
dmesg | grep -i memory
dmesg | grep -i ecc

# 检查磁盘 SMART 状态
smartctl -a /dev/sda

2. 硬件升级或更换

• 更换故障内存条
• 升级 BIOS 到最新版本
• 更换不稳定的网卡或磁盘控制器

三、内核参数优化

1. 调整调度参数

# 增加内核抢占能力
echo "CONFIG_PREEMPT=y" >> /etc/kernel/config
# 或临时启用
sysctl -w kernel.preempt=1

# 调整 RCU 超时参数
sysctl -w kernel.rcu_expedited=1
sysctl -w kernel.rcu_cpu_stall_timeout=60

2. 优化内存管理

# 减少内存碎片
sysctl -w vm.zone_reclaim_mode=0
sysctl -w vm.dirty_ratio=40
sysctl -w vm.dirty_background_ratio=10

# 禁用透明大页
echo never > /sys/kernel/mm/transparent_hugepage/enabled

四、Kubernetes 层面优化

1. 资源请求与限制

确保 Pod 有合理的资源请求和限制，避免过度使用 CPU：

resources:
  requests:
    cpu: "500m"
    memory: "512Mi"
  limits:
    cpu: "1000m"
    memory: "1Gi"

2. 节点反亲和性

避免关键 Pod 集中在同一节点，降低资源竞争：

affinity:
  podAntiAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
            - key: app
              operator: In
              values:
                - critical-app
        topologyKey: "kubernetes.io/hostname"

五、监控与诊断工具

1. 启用内核调试选项

# 启用 lockdep 锁调试
echo 1 > /proc/sys/kernel/lockdep

# 启用 ftrace 跟踪
mount -t debugfs none /sys/kernel/debug

2. 使用 perf 分析性能瓶颈

# 分析 CPU 热点
perf record -a -g -p <pid> sleep 30
perf report

# 分析锁争用
perf record -e 'lock:*' -a sleep 30
perf report

3. 使用 bpftrace 跟踪内核行为

# 跟踪长时间持有锁的函数
bpftrace -e 'kprobe:spin_lock { @[kstack] = count(); }'

六、长期解决方案

升级内核版本：

# Ubuntu/Debian
apt update && apt upgrade linux-image-generic

# CentOS/RHEL
yum update kernel

容器运行时优化：

• 使用最新版本的 containerd 或 Docker
• 调整 cgroup 配置（如 systemd.unified_cgroup_hierarchy=1）

节点自动替换：

• 配置 NodeProblemDetector 检测软死锁并自动替换节点
• 使用 Cluster Autoscaler 确保集群弹性

七、验证优化效果

# 检查内核日志是否还有软死锁警告
journalctl -k | grep "soft lockup"

# 监控节点负载和资源使用情况
kubectl top nodes

注意事项

1. 谨慎调整内核参数：不当的参数可能导致系统不稳定。
2. 逐步验证：每次只调整一个参数，观察效果后再做下一步调整。
3. 保留足够资源：确保节点有 10-20% 的 CPU 和内存余量，避免资源耗尽。

通过以上措施，可显著降低 Kubernetes 节点内核软死锁的发生率，提升集群稳定性。