Kubernetes生产实战(四)：kubelet日志快速定位指南

kubelet作为Kubernetes节点的核心管家，其日志是排查节点问题的金钥匙。本文将分享生产环境中查看和分析kubelet日志的完整方案，助你快速定位节点级故障。

一、基础操作：快速查看日志

1. systemd服务日志（推荐首选）

# 查看实时滚动日志（Ctrl+C退出）
journalctl -u kubelet -f

# 查看过去1小时的关键错误
journalctl -u kubelet --since "1 hour ago" | grep -iE 'error|fail|exception'

# 导出完整日志到文件（用于后续分析）
journalctl -u kubelet --since "2023-08-01" > kubelet.log

2. 直接访问日志文件（容器化部署场景）

# 常规路径（适用于大多数发行版）
tail -f /var/log/kubelet.log

# 容器化kubelet路径（如kubeadm部署）
tail -f /var/lib/kubelet/kubeadm-flags.env

二、高阶技巧：精准定位问题

1. 日志级别动态调整

# 临时开启Debug模式（无需重启服务）
curl -X PUT -d "4" http://localhost:10248/debug/flags/v

# 验证日志级别
curl http://localhost:10248/debug/flags/v

2. 关键日志模式过滤

# PLEG健康检查异常（节点NotReady高频原因）
journalctl -u kubelet | grep 'PLEG is not healthy'

# 证书相关错误（TLS握手失败等）
journalctl -u kubelet | grep -i 'x509'

# 资源不足告警
journalctl -u kubelet | grep -iE 'out of memory|eviction'

3. 时间窗口定位法

# 定位特定时间段的日志（精确到分钟）
journalctl -u kubelet --since "09:30" --until "09:35"

三、生产环境实战场景

场景1：证书过期导致节点失联

特征日志：

x509: certificate has expired or is not yet valid

处理方案：

# 强制更新客户端证书
rm -f /var/lib/kubelet/pki/kubelet-client-*
systemctl restart kubelet

场景2：磁盘压力触发Pod驱逐

日志线索：

DiskPressure: True, Message: node has disk pressure

应急操作：

# 快速清理Docker残留文件
docker system prune -af

# 释放kubelet缓存
find /var/lib/kubelet/pods/ -type d -name volumes -exec du -sh {} +

场景3：容器运行时无响应

错误提示：

PLEG is not healthy: pleg was last seen active 5m0s ago

恢复步骤：

# 重启containerd服务
systemctl restart containerd

# 清理孤儿容器
ctr -n k8s.io containers list | awk '{print $1}' | xargs -I{} ctr -n k8s.io containers delete {}

四、日志管理最佳实践

1. 日志轮转配置（防止磁盘撑爆）

# 配置logrotate（/etc/logrotate.d/kubelet）
/var/log/kubelet.log {
    daily
    rotate 7
    compress
    missingok
    copytruncate
}

2. 集中式日志收集（生产必选）

# Fluentd配置示例（采集kubelet日志）
<source>
  @type tail
  path /var/log/kubelet.log
  tag kubelet
  format json
</source>

3. 关键指标监控

# Prometheus告警规则（日志错误突增）
- alert: KubeletErrorSpike
  expr: rate(kubelet_log_messages_total{severity="ERROR"}[5m]) > 10
  for: 10m

五、专家调试工具箱

1. 实时日志分析脚本

#!/bin/bash
# 自动提取关键错误并统计频率
journalctl -u kubelet --since "1 hour ago" \
  | awk '/error|fail|exception/ {print $5}' \
  | sort | uniq -c | sort -nr

2. 跨节点日志比对

# 并行查询多个节点（需配置ssh免密登录）
parallel-ssh -i -H "node1 node2 node3" \
  "journalctl -u kubelet --since '10 min ago' | grep -i cert"

3. 性能瓶颈定位

# 统计日志中耗时操作TOP10
grep 'Processing request' /var/log/kubelet.log \
  | awk '{print $NF}' | sort -n | tail -10

六、避坑指南

1. 勿全量采集日志：优先过滤ERROR级别，避免存储爆炸
2. 注意时区统一：确保日志时间戳与监控系统一致
3. 保护敏感信息：日志中可能包含证书密钥，需做脱敏处理
4. 版本差异验证：不同K8s版本的kubelet日志格式可能不同

通过掌握这些技巧，运维人员可以将平均故障排查时间（MTTR）缩短50%以上。建议将常用检查命令封装成脚本，并结合ELK等日志平台建立实时分析系统，实现从被动响应到主动预防的运维升级。