AWS Karpenter Provider 中的 AMI 管理最佳实践-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00114/article/details/148464570

AWS Karpenter Provider 中的 AMI 管理最佳实践

karpenter-provider-aws Karpenter is a Kubernetes Node Autoscaler built for flexibility, performance, and simplicity. 项目地址: https://gitcode.com/gh_mirrors/ka/karpenter-provider-aws

前言

在 Kubernetes 集群管理中，节点镜像(AMI)的选择和管理是确保集群稳定性的关键因素。AWS Karpenter Provider 提供了灵活的 AMI 管理机制，本文将深入探讨如何在 Karpenter 中有效管理 AMIs，包括 AMI 选择机制、自动更新策略以及生产环境中的最佳实践。

AMI 管理的重要性

Karpenter 与传统的 Managed Node Groups (MNG) 在 AMI 管理上有显著不同。MNG 在创建新节点时始终使用指定的 AMI，而 Karpenter 则提供了更动态的 AMI 选择机制，这既带来了灵活性，也引入了需要考虑的风险因素。

Karpenter 的 AMI 选择机制

AMI 选择流程

Karpenter 通过 EC2NodeClass 资源中的 amiSelectorTerms 字段来选择 AMI。这个选择过程遵循以下原则：

可以基于多种条件选择 AMI，包括标签(tags)、ID、名称(name)或别名(alias)
可以指定多个 AMI，Karpenter 会从中选择最新的兼容 AMI
某些选择条件是静态的(如 ID)，始终解析为同一个 AMI
某些选择条件是动态的(如别名 alias、标签 tags 和通配符名称 name)，可能随时间解析为不同的 AMI

动态 AMI 选择的风险

使用动态选择条件(特别是 @latest 别名)时需格外谨慎，因为：

新 AMI 可能会在未经充分测试的情况下自动部署到生产环境
可能导致集群中节点使用不一致的 AMI 版本
可能引入未预期的兼容性问题

生产环境强烈建议使用固定版本别名(如 al2023@v20240807)而非 @latest。

AMI 替换触发机制

Karpenter 会在以下情况下检查并使用新 AMI 替换节点：

手动删除节点：管理员手动删除节点时
自动替换机制：
- 过期(Expiration)：节点创建后特定时间自动替换
- 合并(Consolidation)：检测到可用更经济的节点运行相同工作负载时
- 漂移(Drift)：节点状态与 NodePool 或 EC2NodeClass 定义不符时
- 中断(Interruption)：Spot 中断、健康状态变化等非自愿中断时

其中**漂移(Drift)**机制与 AMI 管理最为相关，当 amiSelectorTerms 解析到新 AMI 时，Karpenter 会将其视为配置漂移并触发节点替换。

AMI 管理控制策略

1. AMI 版本固定

在生产环境中，建议固定 AMI 版本以避免未经测试的更新。可以通过以下方式实现：

# 使用固定版本别名
amiSelectorTerms:
- alias: al2023@v20240219

# 使用精确名称
amiSelectorTerms:
- name: al2023-ami-2023.3.20240219.0-kernel-6.1-x86_64

# 使用 AMI ID
amiSelectorTerms:
- id: ami-052c9ea013e6e3567

# 使用特定标签
amiSelectorTerms:
- tags:
    environment: prod

注意：使用固定版本别名时，如果 Kubernetes 控制平面版本升级，Karpenter 仍会自动选择匹配新控制平面版本的 AMI。

2. 分层测试策略

建议采用分层测试策略管理 AMI 更新：

测试环境：使用 @latest 别名(如 al2023@latest)自动获取最新 AMI
预生产环境：验证测试环境中表现良好的 AMI
生产环境：固定已验证的 AMI 版本

这种策略既能及时获取安全更新，又能确保生产环境稳定性。

3. 中断预算控制

通过配置中断预算，可以控制 AMI 更新的节奏和范围：

节点中断预算(Node Disruption Budgets)

disruption:
  budgets:
  - nodes: 15%     # 每次最多替换15%的节点
  - nodes: "3"     # 每次最多替换3个节点
  - nodes: "0"     # 周末禁止替换
    schedule: "0 9 * * sat-sun"
    duration: 24h
  - nodes: "0"     # 工作日下班时间禁止因漂移替换
    schedule: "0 17 * * mon-fri"
    duration: 16h
    reasons:
      - Drifted