阿里云上万个 Kubernetes 集群大规模管理实践

内容简介：

阿里云容器服务从2015年上线后，一路伴随并支撑双十一发展。在2019年的双十一中，容器服务ACK除了支撑集团内部核心系统容器化上云和阿里云的云产品本身，也将阿里多年的大规模容器技术以产品化的能力输出给众多围绕双十一的生态公司和ISV公司。通过支撑来自全球各行各业的容器云，容器服务已经沉淀了支持单元化架构、全球化架构、柔性架构的云原生应用托管中台能力，管理了超过1W个以上的容器集群。本文会介绍下容器服务ACK在海量k8s集群管理上的实践经验。

引言 

什么是海量k8s集群管理。大家可能之前看过一些分享，介绍了阿里巴巴或蚂蚁金服内部如何管理单集群1W节点的最佳实践，管理大规模的节点是一个很有意思的挑战。不过这里讲的海量k8s集群管理，会侧重讲如何管理超过1W个以上不同规格的k8s集群。跟据我们和一些同行的沟通，往往一个企业内部只要管理几个到几十个k8s集群，那么我们为什么需要考虑管理如此庞大数量的k8s集群？首先，容器服务ACK是阿里云上的云产品，提供了Kubernetes as a Service的能力，面向全球客户，目前已经在全球20个地域支持。其次，得益于云原生时代的发展，越来越多的企业拥抱k8s，K8s已经逐渐成为云原生时代的基础设施，成为platform of platform。

背景介绍

首先我们一起来看下托管这些k8s集群的痛点：
1.集群种类不同：有标准的、无服务器的、AI的、裸金属的、边缘、Windows等k8s集群。不同种类的集群参数、组件和托管要求不一样，并且需要支撑更多面向垂直场景的k8s。
2.集群大小不一：每个集群规模大小不一，从几个节点到上万个节点，从几个service到几千个service等。需要能够支撑每年持续几倍集群数量的增长。
3.集群安全合规：分布在不同的地域和环境的k8s集群，需要遵循不同的合规性要求。比如欧洲的k8s集群需要遵循欧盟的GDPR法案，在中国的金融业和政务云需要有额外的等级保护等要求。
4.集群持续演进：需要能够持续的支持k8s的新版本新特性演进。。

设计目标：

1.支持单元化的分档管理、容量规划和水位管理
2.支持全球化的部署、发布、容灾和可观测性
3.支持柔性架构的可插拔、可定制、积木式的持续演进能力

1.支持单元化的分档管理、容量规划和水位管理

单元化：
        一般讲到单元化，大家都会联想到单机房容量不够或二地三中心灾备等场景。那单元化和k8s管理有什么关系？对我们来说，