K8S - 实现statefulset 有状态service的灰度发布

最新推荐文章于 2024-08-24 15:14:45 发布
最新推荐文章于 2024-08-24 15:14:45 发布
阅读量676 收藏 7
点赞数 18
分类专栏： K8S 文章标签： kubernetes k8s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nvd11/article/details/139890586
版权

什么是灰度发布 Canary Release

在这里插入图片描述

参考
理解 什么是 滚动更新，蓝绿部署，灰度发布 以及它们的区别




配置partition in updateStrategy/rollingUpdate

这次我为修改了 statefulset 的1个yaml file
statefulsets/stateful-nginx-without-pvc.yaml:

---
apiVersion: v1 # api version
kind: Service # type of this resource e.g. Pod/Deployment ..
metadata:
  name: nginx-stateful-service # name of the service
  labels:
    app: nginx-stateful-service
spec:
  ports: 
  - port: 80 # port of the service, used to access the service
    name: web-port
  clusterIP: None # the service is not exposed outside the cluster
  selector: # label of the Pod that the Service is selecting
    app: nginx-stateful # only service selector could skip the matchLabels:
---


apiVersion: apps/v1
kind: StatefulSet # it's for a stateful application, it's a controller
metadata:
  name: nginx-statefulset # name of the statefulset
  labels:
    app: nginx-stateful
spec: # detail description
  serviceName: "nginx-stateful-service" # name of the service that used to manange the dns,  
                                         # must be the same as the service name defined above
  replicas: 3 # desired replica count
  selector: # label of the Pod that the StatefulSet is managing
    matchLabels:
      app: nginx-stateful
  template: # Pod template
    metadata:
      labels:
        app: nginx-stateful
    spec:
      containers:
      - name: nginx-containe
        image: nginx:1.25.4 # image of the container
        ports: # the ports of the container and they will be exposed
        - containerPort: 80 # the port used by the container service
          name: web-port
  updateStrategy:
    rollingUpdate:
      partition: 2
    type: RollingUpdate

关键是最后1个block

  updateStrategy:
    rollingUpdate:
      partition: 2
    type: RollingUpdate

rollingUpdate 很容易理解， 关键是partition 的值

这个值表示在image 版本更新后， 只会更新 pod-index 中index >= partition 的POD, 其他POD保持先版本， 这就能同时让两个版本存在一段时间， 实现灰度发布




一个例子

首先我们先apply 上面的yaml
[gateman@manjaro-x13 statefulsets]$ kubectl apply -f stateful-nginx-without-pvc.yaml 
service/nginx-stateful-service unchanged
statefulset.apps/nginx-statefulset created
检查pods ， 3个pod 起来了分别是0, 1, 2
[gateman@manjaro-x13 statefulsets]$ kubectl get pods -o wide
NAME                  READY   STATUS    RESTARTS   AGE   IP             NODE        NOMINATED NODE   READINESS GATES
nginx-statefulset-0   1/1     Running   0          12m   10.244.2.120   k8s-node0   <none>           <none>
nginx-statefulset-1   1/1     Running   0          12m   10.244.1.59    k8s-node1   <none>           <none>
nginx-statefulset-2   1/1     Running   0          12m   10.244.3.69    k8s-node3   <none>           <none>
为了更好的present, 我们把pods数量scale 到5个
[gateman@manjaro-x13 statefulsets]$ kubectl scale statefulset nginx-statefulset --replicas=5
statefulset.apps/nginx-statefulset scaled
[gateman@manjaro-x13 statefulsets]$ kubectl get pods -o wide
NAME                  READY   STATUS    RESTARTS   AGE   IP             NODE        NOMINATED NODE   READINESS GATES
nginx-statefulset-0   1/1     Running   0          13m   10.244.2.120   k8s-node0   <none>           <none>
nginx-statefulset-1   1/1     Running   0          13m   10.244.1.59    k8s-node1   <none>           <none>
nginx-statefulset-2   1/1     Running   0          13m   10.244.3.69    k8s-node3   <none>           <none>
nginx-statefulset-3   1/1     Running   0          13s   10.244.2.121   k8s-node0   <none>           <none>
nginx-statefulset-4   1/1     Running   0          12s   10.244.3.70    k8s-node3   <none>           <none>

这时5个pod 起来了

查看每个pod的image 版本
[gateman@manjaro-x13 statefulsets]$ kubectl get pods -o=jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.containers[*].image}{"\n"}{end}'
nginx-statefulset-0	nginx:1.25.4
nginx-statefulset-1	nginx:1.25.4
nginx-statefulset-2	nginx:1.25.4
nginx-statefulset-3	nginx:1.25.4
nginx-statefulset-4	nginx:1.25.4
这时我们更新image 版本从 1.25.4 更新到1.26.1
[gateman@manjaro-x13 statefulsets]$ kubectl set image statefulset/nginx-statefulset nginx-container=nginx:1.26.1
statefulset.apps/nginx-statefulset image updated
再次检查 每个pod 的image version
nginx-statefulset-0	nginx:1.25.4
nginx-statefulset-1	nginx:1.25.4
nginx-statefulset-2	nginx:1.26.1
nginx-statefulset-3	nginx:1.26.1
nginx-statefulset-4	nginx:1.26.1

可以见到只有pod 2 3 和4 更新了， 0, 1 还是旧版本

下一步， 把新版本应到pod 1 和 pod 0

也很简单， 只需要更改partition 的值就行

---
apiVersion: v1 # api version
kind: Service # type of this resource e.g. Pod/Deployment ..
metadata:
  name: nginx-stateful-service # name of the service
  labels:
    app: nginx-stateful-service
spec:
  ports: 
  - port: 80 # port of the service, used to access the service
    name: web-port
  clusterIP: None # the service is not exposed outside the cluster
  selector: # label of the Pod that the Service is selecting
    app: nginx-stateful # only service selector could skip the matchLabels:
---


apiVersion: apps/v1
kind: StatefulSet # it's for a stateful application, it's a controller
metadata:
  name: nginx-statefulset # name of the statefulset
  labels:
    app: nginx-stateful
spec: # detail description
  serviceName: "nginx-stateful-service" # name of the service that used to manange the dns,  
                                         # must be the same as the service name defined above
  replicas: 5 # desired replica count
  selector: # label of the Pod that the StatefulSet is managing
    matchLabels:
      app: nginx-stateful
  template: # Pod template
    metadata:
      labels:
        app: nginx-stateful
    spec:
      containers:
      - name: nginx-container
        image: nginx:1.26.1 # image of the container
        ports: # the ports of the container and they will be exposed
        - containerPort: 80 # the port used by the container service
          name: web-port
  updateStrategy:
    rollingUpdate:
      partition: 1
    type: RollingUpdate

记得修改3个地方， 1是
replicas: 5 改成当前的数量
image: nginx:1.26.1 要改成新的版本
partition: 1 改成1 就是意思把pod 1 也部署新版本

[gateman@manjaro-x13 statefulsets]$ kubectl replace -f stateful-nginx-without-pvc.yaml 
service/nginx-stateful-service replaced
statefulset.apps/nginx-statefulset replaced

[gateman@manjaro-x13 statefulsets]$ kubectl get pods -o=jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.containers[*].image}{"\n"}{end}'
nginx-statefulset-0	nginx:1.25.4
nginx-statefulset-1	nginx:1.26.1
nginx-statefulset-2	nginx:1.26.1
nginx-statefulset-3	nginx:1.26.1
nginx-statefulset-4	nginx:1.26.1

这时只有pod0 还是旧版本

如何 把pod0 也同步？
方法1是用上面的方法重新更新partition 的值为0

方法2使用 kubectl patch 修改
kubectl patch statefulset nginx-statefulset --type=‘json’ -p=‘[{“op”: “replace”, “path”: “/spec/updateStrategy/rollingUpdate/partition”, “value”: 0}]’

[gateman@manjaro-x13 statefulsets]$ kubectl get pods -o=jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.containers[*].image}{"\n"}{end}'
nginx-statefulset-0	nginx:1.26.1
nginx-statefulset-1	nginx:1.26.1
nginx-statefulset-2	nginx:1.26.1
nginx-statefulset-3	nginx:1.26.1
nginx-statefulset-4	nginx:1.26.1




Deployment 的灰度发布

如果是无状态service 的deployment ， 可以用这种方法灰度发布吗？
不行
因为 deployment 的pods 的后续不是1个index 数字， 无序的， 所以无法去比较 pod 的index 和 partition的值

强行写上yaml 就会有如下错误：

[gateman@manjaro-x13 bq-api-service]$ kubectl apply -f bq-api-service-test.yaml 
error: error validating "bq-api-service-test.yaml": error validating data: ValidationError(Deployment.spec.strategy.rollingUpdate): unknown field "partition" in io.k8s.api.apps.v1.RollingUpdateDeployment; if you choose to ignore these errors, turn validation off with --validate=false

但是灰度发布只是1个思想， 实现的方法有很多种
deployment的灰度发布在k8s 是可行的， 例如简单粗暴地用多个deployment 去cover 不同的instance. 具体方法不在此讨论

nvd11
关注
专栏目录
基于K8S的灰度发布实践
叱咤少帅的博客
06-29 913
基于K8S的灰度发布实践
《云原生之K8s实战》K8s有状态控制器StatefulSet
君逍遥o
03-10 164
无状态服务? RC/RS、Deployment、DaemonSet都是管理无状态的服务，它们所管理的Pod的IP、名字，启停顺序等都是随机的。个体对整体无影响，所有 pod都是共用一个数据卷的，部署的tomcat就是无状态的服务，tomcat被删除，在启动一个新的tomcat，加入到集群即可，跟tomcat的名字无关。
【kubernetes】关于k8s集群的资源发布方式（灰度/滚动发布）
liu_xueyin的博客
02-27 3327
如“暂停(pause)”或“继续(resume)”更新操作。
K8S如何灰度发布
zou8944的博客
06-02 5059
灰度发布、蓝绿发布、金丝雀发布等，本质上没有区别，都是版本渐进式发布+流量管理，所以也不要去纠结自己的发布方式到底算哪一种。硬要说，灰度发布是渐进式发布的统称，蓝绿发布和金丝雀发布是渐进式发布的具体方式，详细区别，在于蓝绿发布强调蓝绿环境（即新版和旧版服务）的平等性，流量拆分粒度较粗；金丝雀发布拥有更细粒度的流量拆分。灰度发布两个核心点：流量管理、发布流程管理。先来分析流量管理，不算Istio等组件新引入的流量管理策略，仅以Kubernetes本身的组件来看。一个常见的后端服务具有如下网络拓扑结构：ingr
K8s 超详细总结！！转载
最新发布
qq_40840571的博客
08-24 397
一个目标：容器操作；两地三中心；四层服务发现；五种Pod共享资源；六个CNI常用插件；七层负载均衡；八种隔离维度；九个网络模型原则；十类IP地址；百级产品线；千级物理机；万级容器；相如无亿，K8s有亿：亿级日服务人次。一个目标：容器操作Kubernetes（k8s）是自动化容器操作的开源平台。这些容器操作包括：部署、调度和节点集群间扩展。自动化容器部署和复制。实时弹性收缩容器规模。容器编排成组，并提供容器间的负载均衡。调度：容器在哪个机器上运行。
K8S灰度发布
Ben的博客
07-12 5868
K8S灰度发布
k8s学习--基于Ingress-nginx实现灰度发布系统
lwxvgdv的博客
06-20 1947
首先在案例之前，先认识一下被业界广泛采用的服务发布有哪些，也是我们之后要实现的东西什么每种发布策略都有其特定的优缺点，选择合适的策略需要根据项目规模、团队能力和业务需求来综合考虑。蓝绿发布适合对稳定性要求极高的项目，A/B 测试适合需要数据驱动决策的功能优化，金丝雀发布则适合希望逐步发布、降低风险的场景。通过合理运用这些策略，可以有效提升发布过程的效率和质量。
k8s 灰度发布（未完）
MssGuo的博客
11-13 2091
灰度发布
K8S-资源管理器
hxy1625309592的博客
07-10 748
1-什么是资源控制器 1、Controller Manager(资源控制器) 由kube-controller-manager 和 cloud-controller-manager组成， 是Kubernetes 的大脑，它通过 apiserver 监控整个集群的状态， 并确保集群处于预期的工作状态。 2、kube-controller-manager kube-controller-manager运行管理控制器，它们是集群中处理常规任务的后台线程，逻辑上，每个控制器是一个单独的进程，但为了降低复杂性，它们都
K8s学习笔记（三）---POD、Deployments、Service、Ingress
一只特立独行的猪
08-01 1311
一、Pod 内部封装了容器或容器组，方便一起调度。 创建一个pod并进入命令行： kubectl run demo --image=busybox -it /bin/sh 进入该pod命令行： kubectl exec -it envar-demo -- /bin/sh Pod运行状态： 状态：挂起（Pending）：Pod 信息已经提交给了集群，但是还没有被调度器调度到合适的节点或者 Pod 里的镜像正在下载 运行中（Running）：该 Pod 已经绑定到了一个节点上，Pod 中所有的容器
持续集成部署-k8s-资源调度：StatefulSet
种一棵树最好的时间是十年前，其次是现在。
10-16 614
之前学习的deployment控制器，他所管理的pod一模一样，提供同一服务，不用考虑在哪台node运行，可以随意扩容缩容。我们把这类应用称作“无状态应用”，例如nginx web服务。 本文介绍关于statefulset的内容有： 1. 如何创建 StatefulSet 2. StatefulSet 怎样管理它的 Pod 3. 如何删除 StatefulSet 4. 如何对 StatefulSet 进行扩容/缩容 5. 如何更新一个 StatefulSet 的 Pod
基于动态策略的灰度发布系统实践
06-14
基于abtestinggateway的学习研究笔记记录PPT 此外gti有源码和文档
Kubernetes（K8s） CKA 认证班（第4期，2021年3月课程，基于V1.20最新版本）.rar
05-07
6. **滚动更新与回滚**：掌握应用更新策略，如蓝绿部署、灰度发布、滚动更新和回滚。 7. **调试与故障排查**：学会使用kubectl、日志查看、节点健康检查等手段来诊断和解决问题。 8. **安全与访问控制**：熟悉RBAC...
使用阿里云容器服务-k8s实现灰度发布
What's past is prologue
08-25 1836
涉及到的概念问题自行百度，下面开始实操。 准备工作： 阿里云镜像服务中有nginx镜像，tag为new,old 第一步：使用tag为old的镜像创建名为nginx的service 在容器服务中创建如下service模板，yaml文件如下： apiVersion: v1 kind: Service metadata: name: nginx labels: app: nginx spec: selector: app: nginx #TODO: change
k8s控制器之Deployment第八弹之金丝雀发布（灰度发布）
linus.lin的博客
05-29 906
在 Kubernetes 中不能解决上述局限性的原因是：Kubernetes Service 只在 TCP 层面解决负载均衡的问题，并不对请求响应的消息内容做任何解析和识别。如果您想使用 Deployment 将最新的应用程序版本发布给一部分用户（或服务器），您可以为每个版本创建一个 Deployment，此时，应用程序的新旧两个版本都可以同时获得生产上的流量。第一个版本的 Deployment 包含了 3 个Pod副本，Service 通过 label selector。
k8s traefik2.4灰度发布
qq_19757081的博客
04-21 2427
安装两个nginx服务的pod和service 安装步骤省略 安装traefik-service和ingress-route apiVersion: traefik.containo.us/v1alpha1 kind: TraefikService metadata: name: app-wrr spec: weighted: services: - name: nginxv1 weight: 3 # 定义权重 ..
使用原生k8s及helm完成灰度(金丝雀)发布
qq_42150559的博客
07-24 5587
背景 最终结构 原先的charts templates的目录结构 templates -deployment -ingress -svc 使用灰度后的charts templates的目录结构 templates -deployment-group1 -deployment-group2 -ingress -svc 结构说明 使用原生的k8s来做灰度其实非常简单，利用的就是不同的deploy可...
k8s之灰度发布
热门推荐
weixin_42715225的博客
12-09 1万+
前言 为了使生产环境的应用服务，正常进行切换，而不导致生产环境的故障影响，需要使用到灰度发布 概念 灰度发布，又称金丝雀发布，是将应用的旧版本A与新版本B同时部署在环境中，业务请求可能会被路由到版本A的后端上，也可能会被路由到版本B的后端上；可以自定义灰度发布策略，调整版本A和B的流量占比，渐进式完成新版本应用的全量上线，最大限制地控制新版本发布带来的业务风险，降低故障带来的影响面，同事支持快速回滚。 灰度发布流程图 结语 … … ...
k8s中通过Jenkins蓝绿/灰度发布微服务
novice的博客
05-19 3222
1. jenkinsfile配置注意事项 微服务注册中心采用Eureka，部署后一般不会改动，直接手动部署，不放在cicd中；cicd只发布各个微服务的deployment； service/ingress也不经常改动，直接在阿里ACK控制台中手动安装，或者单独部署Jenkins item发布； 构建镜像的tag通过环境变量BUILD_NUMBER来命名；同时yaml中定义两个变量，镜像tag同理通过BUILD_NUMBER，yaml中的副本数replicas的值，通过parameter获取，传递进来；
k8s ingress实现灰度发布
07-27
Kubernetes Ingress-Nginx是一个用于管理Kubernetes集群中的Ingress资源的工具。它支持使用Ingress Annotations来实现不同场景下的灰度发布和测试。其中，Nginx Annotations支持基于Cookie的切分流量来实现灰度发布。具体实现方式是通过判断用户请求中的Cookie是否存在灰度标识Cookie来确定是否为灰度用户，从而决定是否返回灰度版本的服务。 在配置中，可以使用以下Annotations来实现灰度发布： - `nginx.ingress.kubernetes.io/canary`：可选值为true/false，表示是否开启灰度功能。 - `nginx.ingress.kubernetes.io/canary-by-cookie`：灰度发布Cookie的键。当键的值等于"always"时，灰度触发生效；其他值则不会走灰度环境。 例如，如果请求的Cookie中包含名为"vip_user"的键，并且值为"always"，则会生效灰度配置，访问灰度版本的服务。 要实际执行灰度发布配置，可以使用以下命令： ``` kubectl apply -f ingress-gray.yaml ``` 如果想查看服务并获取Ingress的外部端口，可以使用以下命令： ``` kubectl -n ingress-nginx get service ``` 这将显示Ingress-Nginx控制器的服务信息，包括集群IP、外部IP和端口等。 #### 引用[.reference_title] - *1* [【云原生 | Kubernetes 实战】20、K8s Ingress 实现业务灰度发布](https://blog.csdn.net/weixin_46560589/article/details/128505651)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [【Kubernetes】第十篇 - 灰度发布的介绍与实现](https://blog.csdn.net/ABAP_Brave/article/details/129220116)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

nvd11

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值