滴滴弹性云基于 K8S 的调度实践

上篇文章详细介绍了弹性云混部的落地历程，弹性云是滴滴内部提供给网约车等核心服务的容器平台，其基于 k8s 实现了对海量 node 的管理和 pod 的调度。本文重点介绍弹性云的调度能力，分为以下部分：

• 调度链路图：介绍当前弹性云调度体系链路，对架构体系有一个初步的认知

• k8s 调度能力的运用：整体介绍弹性云现在用到的 k8s 调度能力和对其的增强

• k8s 版本的升级：介绍到从 k8s 1.12 到 1.20 跨版本升级的方案

• 服务画像/真实使用率调度：原生的 request 调度存在着和真实使用率之间的 gap 等缺陷，尝试通过对 node 上业务做数据画像来让调度做出更符合真实情况的调度

• 重调度：由于调度只能依据当前数据，随着业务的增长、集群机器的下线等，调度效果可能不达预期，比如会产生一些宿主机热点等，介绍重调度对这块的处理能力

• 调度规则引擎：通用的调度策略不能满足所有业务场景，直接在调度主流程中做适配比较 hack，介绍 Galahad+Webhook 对调度资源的灵活注入从而影响最终的调度结果的能力

• 调度稳定性建设：介绍整体调度的稳定性保障体系

调度链路图

• kube-rescheduler：重调度模块，自动轮询集群状态，并发起异常 pod 的漂移

• kube-odin：弹性云的上游 pass 层，用户通过 kube-odin 接入弹性云

• galahad：调度规则引擎，按标签选取业务 pod 或 node 的调度策略存储，主要解决物理机集群差异化，快速变化的需求与 k8s 集群管理的灵活度匹配

• kube-hook：k8s 的 mutatingwebhook 和对应服务，用于将 galahad 注入 pod 或 node

• master：原生的 k8s 三大件

• ipam：弹性云的 pod ip 分配模块

• IRMAS：内核组件，包括 Odin-Agent 监控数据上报、pod quota 分配等能力

• kube-agent：node 组件，做真实使用率数据的获取和写入

• zhivago：基于 Prometheus 的服务画像引擎，涉及数据清洗，数据分析，数据存储，大盘展示等多个模块

k8s 调度能力的运用

涉及资源

• 无状态服务（Deployment）：弹性云最开始使用的 workload，但因为历史原因，比如要兼容业务在物理机时代的使用方式等，目前已废弃。

• 有状态服务（StatefulSet）：弹性云目前支持的主 workload，优化了控制器逻辑，实现了自定义部署顺序策略、无序删除策略、打散策略等等。

• 静态容器（Pod）：直接管理 pod，在现有的 Kubernetes 原生调度编排之上，提供和 VM 类似的资源交付手段，是为了兼容类似物理机使用方式的妥协，不  cloudnative，不建议新业务接入

• Endponit：接流组件监听其变化，在pod漂移后自动接上dsi/lvs的流量

• Deamonset：node 上 agent 的 workload

k8s 调度器的实现

kube-scheduler 的根本工作任务是根据各种调度算法将 Pod 绑定（bind）到最合适的工作节点，整个调度流程分为两个阶段：预选策略（Predicates）和优选策略（Priorities），这里不再赘述。