5 个维度对 Kubernetes 集群优化

新睿云.任义兵

于 2019-10-28 18:50:05 发布

阅读量544

点赞数

640?wx_fmt=gif

节点配额和内核参数调整

对于公有云上的 Kubernetes 集群，规模大了之后很容器碰到配额问题，需要提前在云平台上增大配额。这些需要增大的配额包括

参考gce随着node节点的增加master节点的配置：

参考阿里云配置：

增大内核选项配置 /etc/sysctl.conf：

640?wx_fmt=png

Etcd

镜像拉取相关配置

Docker 配置

设置 max-concurrent-downloads=10配置每个pull操作的最大并行下载数，提高镜像拉取效率，默认值是3。
使用 SSD 存储。
预加载 pause 镜像，比如 docker image save -o /opt/preloaded_docker_images.tar 和docker image load -i /opt/preloaded_docker_images.tar启动pod时都会拉取pause镜像，为了减小拉取pause镜像网络带宽，可以每个node预加载pause镜像。

Kubelet配置

设置 --serialize-image-pulls=false该选项配置串行拉取镜像，默认值时true，配置为false可以增加并发度。但是如果docker daemon版本小于 1.9，且使用 aufs 存储则不能改动该选项。
设置 --image-pull-progress-deadline=30配置镜像拉取超时。默认值时1分，对于大镜像拉取需要适量增大超时时间。
Kubelet 单节点允许运行的最大 Pod 数：--max-pods=110（默认是 110，可以根据实际需要设置）

镜像registry p2p分发

kube-api-server 配置

node节点数量 >= 3000，推荐设置如下配置：--max-requests-inflight=3000--max-mutating-requests-inflight=1000

node节点数量在 1000 -- 3000，推荐设置如下配置：

640?wx_fmt=png

内存配置选项和node数量的关系，单位是MB：

640?wx_fmt=png

pod配置

在运行 Pod 的时候也需要注意遵循一些最佳实践，比如:

为容器设置资源请求和限制，尤其是一些基础插件服务spec.containers[].resources.limits.cpuspec.containers[].resources.limits.memoryspec.containers[].resources.requests.cpuspec.containers[].resources.requests.memoryspec.containers[].resources.limits.ephemeral-storagespec.containers[].resources.requests.ephemeral-storage在k8s中，会根据pod不同的limit 和 requests的配置将pod划分为不同的qos类别：- Guaranteed- Burstable- BestEffort当机器可用资源不够时，kubelet会根据qos级别划分迁移驱逐pod。被驱逐的优先级：BestEffort > Burstable > Guaranteed
对关键应用使用 nodeAffinity、podAffinity 和 podAntiAffinity 等保护，使其调度分散到不同的node上。比如kube-dns 配置：

640?wx_fmt=png