k8s自动清理节点服务

要在 Kubernetes 中实现当某个节点的 CPU 或内存使用超过 90% 时清理该节点上的服务，你可以使用以下几种方法：

1. 自定义脚本和 cron job：编写一个脚本监控节点的资源使用情况，并在超过阈值时触发清理操作。
2. 使用 DaemonSet 运行监控容器：在每个节点上运行一个监控容器，监控资源使用情况并执行清理操作。
3. Prometheus 和 Alertmanager：结合使用 Prometheus 和 Alertmanager 来监控资源使用情况，并在超过阈值时触发清理操作。

以下是使用自定义脚本和 cron job 实现的详细步骤：

步骤 1：编写监控和清理脚本

创建一个脚本（例如 cleanup.sh），该脚本将检查节点的 CPU 和内存使用情况，并在超过阈值时清理节点上的服务：

#!/bin/bash

# 设置阈值
CPU_THRESHOLD=90
MEM_THRESHOLD=90

# 获取节点的名称
NODE_NAME=$(hostname)

# 获取节点的 CPU 和内存使用情况
CPU_USAGE=$(kubectl top node $NODE_NAME --no-headers | awk '{print $3}' | sed 's/%//')
MEM_USAGE=$(kubectl top node $NODE_NAME --no-headers | awk '{print $5}' | sed 's/%//')

# 检查是否超过阈值
if [[ $CPU_USAGE -gt $CPU_THRESHOLD ]] || [[ $MEM_USAGE -gt $MEM_THRESHOLD ]]; then
    echo "Node $NODE_NAME CPU or Memory usage is above threshold. Cleaning up..."

    # 获取节点上的所有以 "svc" 开头的 Pod
    PODS=$(kubectl get pods --all-namespaces -o wide | grep $NODE_NAME | awk '{if ($2 ~ /^svc/) print $2" -n "$1}')

    # 删除节点上的所有以 "svc" 开头的 Pod
    for POD in $PODS; do
        kubectl delete pod $POD --grace-period=0 --force
    done
fi

步骤 2：在节点上设置 cron job

将脚本部署到每个节点上，并使用 cron job 定期运行该脚本：

1. 将脚本复制到节点上（例如 /usr/local/bin/cleanup.sh）：

   scp cleanup.sh user@node:/usr/local/bin/cleanup.sh
   

2. 在每个节点上为脚本添加可执行权限：

   chmod +x /usr/local/bin/cleanup.sh
   

3. 在每个节点上编辑 crontab 文件：

   crontab -e
   

   添加以下行来每 5 分钟运行一次脚本：

   */5 * * * * /usr/local/bin/cleanup.sh >> /var/log/cleanup.log 2>&1
   

这样，脚本将每 5 分钟检查一次节点的 CPU 和内存使用情况，并在超过阈值时清理节点上的服务。

注意事项

• 清理操作的影响：强制删除节点上的 Pod 可能会影响你的服务。确保在清理之前有足够的冗余和容错机制。
• 权限：确保运行脚本的用户有足够的权限执行 kubectl 命令。
• 改进：可以改进脚本，使其更智能，比如只删除特定命名空间的 Pod，或者优先删除低优先级的 Pod。