云原生实践总结
👉 作为一名SRE,在运维云原生过程中的实践总结、沉淀,以便自己回顾和他人查阅,希望能帮助你在云原生领域的平稳落地。
📖 全文字数:1.6k+
⏳ 阅读时长:4min
企业落地云原生的目的
一句话概括:在保证稳定性的前提下,降本增效
目标拆解:
-
保障稳定性
-
建设高可用性:基础组件(Master三大件/Etcd等)高可用、多机房、多集群、Pod 高可用 -
持续进行风险治理:耦合度、故障发现、容量、容灾、变更及可运维性、安全性 -
建设可观测性:Metrics、Logging、Tracing、Events、Chaos、Dashboard、Inspection -
故障演练:Apiserver 高可用故障演练、Etcd 高可用故障演练、双机房切换故障演练 -
预案建设:Etcd 备份恢复、Velero 备份恢复、Master 节点紧急扩容、Etcd 节点紧急扩容、多集群故障迁移 -
性能/容量评估:物理机性能压测、Master 组件性能压测、Etcd 性能压测、应用性能压测
-
-
节约成本
-
推进无状态应用容器化 -
推进无状态应用接入弹性伸缩 -
K8s 调度能力增强:预选、优选、重调度(使资源分配均匀、提高装箱率、提高资源使用率) -
持续进行应用容量治理:横向缩容(降副本数)、纵向缩容(降规格 CPU/MEM) -
建立资源画像:调度和容量治理依赖资源画像
-
-
提高效率(平台能力建设)
-
自动化运维平台(面向开发):容器生命周期管理、Ingress 生命周期管理、HPA 生命周期管理、扩缩容&升降配、容器资源预留、Java Dump & GCLog、屏蔽/恢复告警 -
发布系统(面向开发):Java/Nodejs/静态资源模版、自定义镜像、自定义模版、滚动发布、灰度发布、启动日志查看 -
堡垒机(面向开发):Web 终端、文件管理、日志审计 -
SRE 平台(面向运维):集群安装、集群扩缩容、集群升级、插件安装、Ingress 节点扩缩容、Web Kubectl、集群自动化巡检、多集群迁移
总结为下图,拿走不谢😏
sre-k8s (2) -
实践中使用到的 CNCF 项目
![image-20240107175222642](https://img-blog.csdnimg.cn/img_convert/4f892d033308a34cb5357bad692f5604.png)
按用途和熟悉度分类:
实践中遇到的问题&故障
🤔 问题 :
-
如何提高资源可见性?容器内 top free 命令看到的是宿主机资源使用情况 -
应用从 KVM 迁移到 容器 后,资源利用率为何发生变化?有增高的,有降低的 -
流量洪峰时,个别应用为啥容器比虚拟RT长? -
新增 Ingress 后导致 RedirectUri 不一致? -
自动注入service变量导致 Nodejs 负载变高? -
grpc 应用负载均衡问题,使用 service 和 Ingress 无效? -
接入容器后,域名访问异常?
🤔 故障:
-
Calico 异常重启? -
kubelet pleg ? -
Node 被清空? -
什么?相同型号物理机 容器性能不如虚拟机?
文章更新预告
根据本期文章总结,后续会先更新以下文章,文章预告:
保障稳定性:
-
高可用性 -
🚩 多集群管理方案 -
🚩 K8s 多机房高可用方案 -
🚩 建设 Pod 高可用性(优先级、Qos、打散、hpa、无损发布、pdb) -
🚩 既要稳也要省,容器资源该怎么分配(Qos 设置篇)? -
🚩 巧用 shell-operator
为核心应用自动注入 pdb -
容器化后无损上下线解决方案(已发表)
-
-
🚩 Prometheus 高可用设计
-
-
🚩 风险治理篇琐碎整理(临时存储限制、告警与 AppID 负责人如何关联、审计日志重要性、Node 资源预留) -
可观测性 -
🚩 kube-prometheus 使用实践 -
🚩 使用 Fluentd 收集 K8s 日志 -
🚩 K8s 组件改监控哪些核心指标? -
🚩 自定义 K8s Dashboard 分享 -
🚩 K8s 自动化巡检设计思路
-
-
故障演练 -
🚩 Apiserver 高可用故障演练 -
🚩 Etcd 高可用故障演练
-
-
预案建设 -
🚩 Etcd 物理备份 + Velero 逻辑备份 & 恢复详解 -
🚩 多集群迁移设计思路
-
-
性能/容量评估 -
🚩 物理机性能压测方法详解(附 Github 源码) -
🚩 Master 组件性能压测 -
🚩 Etcd 性能压测 -
🚩 物理机 MaxPod 到底设多少合适?
-
节约成本:
-
云原生落地最佳实践(已发表) -
弹性伸缩落地实践(已发表) -
🚩 Keda-hpa-exporter 开发设计(附 Github 源码)
提高效率
-
🚩 GitOps - ArgoCD 方案调研 -
🚩 Argo Rollout 使用分享 -
🚩 Argo Workflow 使用分享 -
🚩 Jumpserver 二开实现容器 Web 终端、文件管理、日志审计(附 Github 源码)
CNCF 项目使用介绍
-
🚩 Etcd 概述及使用实践 -
🚩 Coredns 概述及使用实践 -
🚩 Calico 概述及使用实践 -
🚩 Helm 概述及使用实践 -
🚩 KubeVirt 概述及使用实践 -
🚩 Docker 概述及使用实践
问题故障汇总
-
🚩 容器化后常见 FAQ -
🚩 Calico 异常重启根因分析
参考链接:
CLOUD NATIVE LANDSCAPE https://cncf.landscape2.io/?group=projects-and-products
我是 Clay,下期见 👋
欢迎订阅我的公众号「SRE运维进阶之路」或关注我的 Github https://github.com/clay-wangzhi/wiki 查看最新文章
欢迎加我微信
sre-k8s-ai
,与我讨论云原生、稳定性相关内容
![weixin](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=https%3A%2F%2Fclay-blog.oss-cn-shanghai.aliyuncs.com%2Fimg%2Fweixin.png&pos_id=img-IDNdOqEz-1705832552789%29)