梦想歌的技术博客

我们的系统建设初期，使用腾讯云 CLB 负载均衡实现蓝绿发布，由于 CLB 的设计只能绑定腾讯云 CVM 服务器，对于 Serverless 集群架构很不友好。为解决这个问题，笔者尝试在腾讯云部署 NGINX Ingress Controller 实现金丝雀发布。

由于自建机房无法访问 DockerHub，需要搭建 Harbor 私有镜像仓库，并解决研发团队在本地镜像仓库中拉取镜像的问题。

笔者最近在部署自建机房，准备搭建 KubeSphere 集群，KubeSphere 官网的文档似乎有点小问题，所以用这篇文章来记录一下实际的操作，可以放心食用。

根据《服务器高可用恢复演练方案》文档介绍，验证基于 CLB 负载均衡下部署多台 CVM 的高可用。通过混沌演练故障注入，验证 A 系统的 RPO 不超过 4 小时，RTO 不超过 12 小时。*　演练实施组：小D*　业务验证组：小E、小FA 系统的 prd1 生产环境2023-06-25 15:00 ~ 18:00在 prd1 服务器节点注入Linux内核故障。控制台显示 “执行中”。等待执行完成后，我们连接这台服务器的 ssh 会话自动退出，说明故障注入已生效。Linux 内核故障注入总共持续了 30

演练结束后，点击按钮生成演练报告。

生产数据库执行 SQL 脚本，一般会经过正规的审批流程才能运行。但有些情况是例外的，业务部门在提出一些删除数据的需求后打算撤回，或者在运营后台不小心删除了一些数据，然后找到 DBA 团队协助，希望能恢复数据。经调研，binlog2sql 是大众点评开源的一款用于解析 MySQL binlog 的工具，根据不同选项，可以得到原始SQL、回滚SQL、去除主键的INSERT SQL 等，适用于数据快速回滚（闪回）和主从切换后新 Master 丢数据的修复工作。

在引入 Higress 云原生网关后，我们去除了，并且可以很方便的实现 A/B 测试、金丝雀发布等场景。单个路由不支持同时设置多个匹配规则，一个后端服务可能存在多个 API 路径，如果 API 规则太多，维护就变得比较困难。APISIX 允许你设置多个匹配规则。路由不支持 APISIX 的上线、下线，使用灰度发布场景，需要手动删除。不支持静态资源代理，只能把静态资源打包为 Pod 暴露出去，而 APISIX 可以通过 Nginx 底层配置实现。

在引入 APISIX 云原生网关后，我们替换了 Nginx，解决了 Nginx reload 的网络抖动问题，并且可以很方便的实现 A/B 测试、金丝雀发布等场景。本文并没有探讨 APISIX Ingress Controller 的使用，因为 APISIX Dashboard 本身的功能已经足够满足我们的需求。

KubeVela 作为实现 OAM 的开源项目，使用感受如下。支持应用编排多个组件，一键部署，一键回收，实时观测服务状态。允许您修改运维组件，为团队定制服务。不过运维组件扩展不能新增？只能修改现有的组件，而且能修改的位置有限制。需要熟悉 CUE 语法，在配置 ConfigMap 这一块，没有可视化组件，只能自己写代码处理。和商业化 CODING 相比如下。不支持 CODING 勾选某些组件是否更新，不过这个问题不大，只要没有版本变化，不会触发更新。

KubeSphere DevOps 基本可以实现 CI/CD 的功能，但是功能不是很完善，单分支模式不支持 Git 事件触发流水线，只能使用 Cron 触发，多分支又不能在控制台管理，可能要等作者慢慢优化了。

CODING 整体使用感觉不错，可以满足我们的业务需求，但是 CODING 的发布功能还不太完善，需要后续优化。配置管理不支持在界面添加 Secret，建议在代码仓库新建文件，里面的内容通过 base64 编码保存。配置管理不支持删除 ConfigMap，这个是 CODING 的 Bug，目前只能在代码仓库删除。如果在部署流程选择了失败回滚，发布过程中点击了取消操作，建议等待一段时间，再次发布新版本。否则，有可能上一次版本在回滚，你发布的新版本会被回滚掉。如果在发布应用提示。

由于笔者直接使用 CODING 节点托管部署，无法了解服务器内部的 Maven 细节，并且，Maven 的环境变动可能会影响整个构建计划不可用，因此，建议自定义来控制您的应用。首先，使用-s选项指定项目.coding目录的文件。Maven 配置文件的内容统一使用${env.xxx}变量，表示通过 CODING 的脚本传递环境变量，代码片段如下。

早期我们对于 Docker 构建 Spring Boot 工程的方式很简单，直接构建生成 jar 可执行程序，通过启动。在实际的生产环境，可能定义了十几个甚至上百个 Deployment，每个 Deployment 根据不同的负载设置不同的 JVM 参数，没办法共享同一份 ConfigMap 文件。为了解决这个问题，我们应该优化下 Dockerfile 构建模板，把 JVM 参数和运行环境变量分离出去。