Kubernetes Ingress-Nginx 金丝雀发布

最新推荐文章于 2023-08-17 08:20:42 发布
最新推荐文章于 2023-08-17 08:20:42 发布
阅读量664 收藏 2
点赞数
分类专栏： kubernetes 初级篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37377136/article/details/114947512
版权

前提环境：

  • kubernetes
  • ingress

涉及参考文档：

一、Ingress-Nginx-Annotation Canary 功能简介

如果想启用Canary功能，要先设置nginx.ingress.kubernetes.io/canary: "true"，然后可以启用以下注释来配置Canary

  • nginx.ingress.kubernetes.io/canary-weight: 请求到Canary ingress中指定的服务的请求百分比，值为0-100的整数，根据设置的值来决定大概有百分之多少的流量会分配Canary Ingress中指定的后端服务
  • nginx.ingress.kubernetes.io/canary-by-header: 基于request header 的流量切分，适用于灰度发布或者A/B测试，当设定的hearder值为always是，请求流量会被一直分配到Canary入口，当hearder值被设置为never时，请求流量不会分配到Canary入口，对于其他hearder值，将忽略，并通过优先级将请求流量分配到其他规则
  • nginx.ingress.kubernetes.io/canary-by-header-value: 这个配置要和 nginx.ingress.kubernetes.io/canary-by-header 一起使用，当请求中的hearder key和value 和nginx.ingress.kubernetes.io/canary-by-header nginx.ingress.kubernetes.io/canary-by-header-value匹配时，请求流量会被分配到Canary Ingress入口，对于其他任何hearder值，将忽略，并通过优先级将请求流量分配到其他规则
  • nginx.ingress.kubernetes.io/canary-by-cookie:这个配置是基于cookie的流量切分，也适用于灰度发布或者A/B测试，当cookie值设置为always时，请求流量将被路由到Canary Ingress入口，当cookie值设置为never时，请求流量将不会路由到Canary入口，对于其他值，将忽略，并通过优先级将请求流量分配到其他规则

金丝雀规则按优先顺序进行如下排序：canary-by-header - > canary-by-cookie - > canary-weight

二、部署服务

1、书写部署两个服务Pod的Yaml文件

  • 老版本服务
vim echoserverv1.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
  labels:
    app: echoserverv1
  name: echoserverv1
spec:
  rules:
  - host: echo.chulinx.com
    http:
      paths:
      - backend:
          serviceName: echoserverv1
          servicePort: 8080
        path: /
---
kind: Service
apiVersion: v1
metadata:
  name:  echoserverv1
spec:
  selector:
    name:  echoserverv1
  type:  ClusterIP
  ports:
  - name:  echoserverv1
    port:  8080
    targetPort:  8080
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name:  echoserverv1
  labels:
    name:  echoserverv1
spec:
  selector:
    matchLabels:
      name: echoserverv1
  template:
    metadata:
      labels:
        name:  echoserverv1
    spec:
      containers:
      - image:  mirrorgooglecontainers/echoserver:1.10
        name:  echoserverv1
        ports:
        - containerPort:  8080
          name: echoserverv1
  • 新版本服务
vim echoserverv2.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
  labels:
    app: echoserverv2
  name: echoserverv2
spec:
  rules:
  - host: echo.chulinx.com
    http:
      paths:
      - backend:
          serviceName: echoserverv2
          servicePort: 8080
        path: /
---
kind: Service
apiVersion: v1
metadata:
  name:  echoserverv2
spec:
  selector:
    name:  echoserverv2
  type:  ClusterIP
  ports:
  - name:  echoserverv2
    port:  8080
    targetPort:  8080
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name:  echoserverv2
  labels:
    name:  echoserverv2
spec:
  selector:
    matchLabels:
      name: echoserverv2
  template:
    metadata:
      labels:
        name:  echoserverv2
    spec:
      containers:
      - image:  mirrorgooglecontainers/echoserver:1.10
        name:  echoserverv2
        ports:
        - containerPort:  8080
          name: echoserverv2

2、生成两个Pod服务

kubectl  apply -f echoserverv1.yaml  -f  echoserverv2.yaml

部署成功

3、查看两个Pod服务的信息

kubectl  get po,svc -o wide  |grep echoserverv

在这里插入图片描述
可以看到两个可以正常访问服务。

4、查看ingress 详细信息

kubectl  get  ingress

在这里插入图片描述

5、测试访问

在这里插入图片描述在这里插入图片描述

for i in `seq 10`;do curl -s http://echo.chulinx.com:30080|grep Hostname;done

在这里插入图片描述

三、Ingress-Nginx 权重的小规模版本测试

1、重新修改Ingress的 canary-weight流量权重

vim echoserverv2.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/canary: "true"		  #启动Canary功能，
    nginx.ingress.kubernetes.io/canary-weight: "50"   #求百分比
  labels:
    app: echoserverv2
  name: echoserverv2
spec:
  rules:
  - host: echo.chulinx.com
    http:
      paths:
      - backend:
          serviceName: echoserverv2
          servicePort: 8080
        path: /
---
kind: Service
apiVersion: v1
metadata:
  name:  echoserverv2
spec:
  selector:
    name:  echoserverv2
  type:  ClusterIP
  ports:
  - name:  echoserverv2
    port:  8080
    targetPort:  8080
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name:  echoserverv2
  labels:
    name:  echoserverv2
spec:
  selector:
    matchLabels:
      name: echoserverv2
  template:
    metadata:
      labels:
        name:  echoserverv2
    spec:
      containers:
      - image:  mirrorgooglecontainers/echoserver:1.10
        name:  echoserverv2
        ports:
        - containerPort:  8080
          name: echoserverv2

2 、更新 echoserverv2服务权重流量

kubectl  apply -f echoserverv2.yaml

3 、访问测试

for i in `seq 20`;do curl -s http://echo.chulinx.com:30080|grep Hostname;done

在这里插入图片描述
可以看到流量已有分流到第二个Pod上，权重值越高访问的越多。

四、基于header的A/B测试

1、拷贝权重测试的yaml文件

mkdir  -P /root/kubernetes/ingress/基于header的AB测试   

cp -r /root/kubernetes/ingress/蓝绿部署/*  /root/kubernetes/ingress/基于header的AB测试

2、编辑v2服务yaml文件

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/canary: "true"
    nginx.ingress.kubernetes.io/canary-weight: "50"
    nginx.ingress.kubernetes.io/canary-by-header: "v2"   # 新增定义的header值
  labels:
    app: echoserverv2
  name: echoserverv2
spec:
  rules:
  - host: echo.chulinx.com
    http:
      paths:
      - backend:
          serviceName: echoserverv2
          servicePort: 8080
        path: /
---
kind: Service
apiVersion: v1
metadata:
  name:  echoserverv2
spec:
  selector:
    name:  echoserverv2
  type:  ClusterIP
  ports:
  - name:  echoserverv2
    port:  8080
    targetPort:  8080
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name:  echoserverv2
  labels:
    name:  echoserverv2
spec:
  selector:
    matchLabels:
      name: echoserverv2
  template:
    metadata:
      labels:
        name:  echoserverv2
    spec:
      containers:
      - image:  mirrorgooglecontainers/echoserver:1.10
        name:  echoserverv2
        ports:
        - containerPort:  8080
          name: echoserverv2

kubectl  apply -f echoserverv2.yaml

3、更新后访问测试

nginx.ingress.kubernetes.io/canary-by-header: ：基于request header 的流量切分，适用于灰度发布或者A/B测试，当设定的hearder值为always是，请求流量会被一直分配到Canary入口，当hearder值被设置为never时，请求流量不会分配到Canary入口，对于其他hearder值，将忽略，并通过优先级将请求流量分配到其他规则。对此进行验证是否符合。

  • always
for i in `seq 20`;do curl -s -H "v2:always" http://echo.chulinx.com:30080|grep Hostname;done

在这里插入图片描述

  • never
for i in `seq 20`;do curl -s -H "v2:never" http://echo.chulinx.com:30080|grep Hostname;done

在这里插入图片描述

  • 其他hearder值
for i in `seq 20`;do curl -s -H "v2:other" http://echo.chulinx.com:30080|grep Hostname;done

在这里插入图片描述
这里可以验证出： canary-by-header —> canary-weight

自定义header-value

  • nginx.ingress.kubernetes.io/canary-by-header-value: 这个配置要和 nginx.ingress.kubernetes.io/canary-by-header 一起使用，当请求中的hearder key和value 和nginx.ingress.kubernetes.io/canary-by-header nginx.ingress.kubernetes.io/canary-by-header-value匹配时，请求流量会被分配到Canary Ingress入口，对于其他任何hearder值，将忽略，并通过优先级将请求流量分配到其他规则
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/canary: "true"
    nginx.ingress.kubernetes.io/canary-weight: "50"
    nginx.ingress.kubernetes.io/canary-by-header: "v2"
    nginx.ingress.kubernetes.io/canary-by-header-value: "true"
  labels:
    app: echoserverv2
  name: echoserverv2
spec:
  rules:
  - host: echo.chulinx.com
    http:
      paths:
      - backend:
          serviceName: echoserverv2
          servicePort: 8080
        path: /
---
kind: Service
apiVersion: v1
metadata:
  name:  echoserverv2
spec:
  selector:
    name:  echoserverv2
  type:  ClusterIP
  ports:
  - name:  echoserverv2
    port:  8080
    targetPort:  8080
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name:  echoserverv2
  labels:
    name:  echoserverv2
spec:
  selector:
    matchLabels:
      name: echoserverv2
  template:
    metadata:
      labels:
        name:  echoserverv2
    spec:
      containers:
      - image:  mirrorgooglecontainers/echoserver:1.10
        name:  echoserverv2
        ports:
        - containerPort:  8080
          name: echoserverv2

kubectl  apply -f echoserverv3.yaml
  • true value值
for i in `seq 8`;do curl -s  -H "v2:true" http://echo.chulinx.com:30080|grep Hostname;done

在这里插入图片描述

  • always value值
for i in `seq 8`;do curl -s  -H "v2:always" http://echo.chulinx.com:30080|grep Hostname;done

在这里插入图片描述

  • never value值
for i in `seq 8`;do curl -s  -H "v2:never"  http://echo.chulinx.com:30080|grep Hostname;done

在这里插入图片描述
如上发现： 符合key—value 值 全部流量才全部流入，always/never 本来是要不全部流入或者全部拒绝，在这里变成了随机，这里可以看出来如果设置的 key对应的value值always/never默认的value受到影响，已自定义的value为标准

五、基于cookie的流控

1、拷贝权重测试的yaml文件

mkdir -p /root/kubernetes/ingress/cookie

cp  -r ../基于header的AB测试/echoserverv3.yaml   ./echoserverv4.yaml

2、编辑v2服务yaml文件

vim echoserverv4.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/canary: "true"
    nginx.ingress.kubernetes.io/canary-weight: "50"
    nginx.ingress.kubernetes.io/canary-by-header: "v2"
    nginx.ingress.kubernetes.io/canary-by-header-value: "true"
    nginx.ingress.kubernetes.io/canary-by-cookie: "user_from_shanghai"
  labels:
    app: echoserverv2
  name: echoserverv2
spec:
  rules:
  - host: echo.chulinx.com
    http:
      paths:
      - backend:
          serviceName: echoserverv2
          servicePort: 8080
        path: /
---
kind: Service
apiVersion: v1
metadata:
  name:  echoserverv2
spec:
  selector:
    name:  echoserverv2
  type:  ClusterIP
  ports:
  - name:  echoserverv2
    port:  8080
    targetPort:  8080
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name:  echoserverv2
  labels:
    name:  echoserverv2
spec:
  selector:
    matchLabels:
      name: echoserverv2
  template:
    metadata:
      labels:
        name:  echoserverv2
    spec:
      containers:
      - image:  mirrorgooglecontainers/echoserver:1.10
        name:  echoserverv2
        ports:
        - containerPort:  8080
          name: echoserverv2

3、更新后访问测试

kubectl  apply -f echoserverv4.yaml
  • user_from_shanghai always 值
for i in `seq 8`;do curl -s  --cookie "user_from_shanghai=always"  http://echo.chulinx.com:30080|grep Hostname;done

在这里插入图片描述

  • user_from_shanghai never 值
    在这里插入图片描述

  • user_from_shanghai other 值
    在这里插入图片描述
    可以看和header的访问效果是一样的，只不过cookie不能自定义value

3、canary-by-header 与canary-by-cookie 优先级测试

  • header 【v2: true】 、 cookie 【never】
for i in `seq 8`;do curl -s -H "v2:true" --cookie "user_from_shanghai=never"  http://echo.chulinx.com:30080|grep Hostname;done

在这里插入图片描述
胜利者 header

  • header 【v2: other】 、 cookie 【always】
    在这里插入图片描述

**胜利者 cookie **

  • header 【v2: other】 、 cookie 【other】
    在这里插入图片描述

**平局 **

还是那片西瓜吗
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
K8s 1.18.6版本基于 ingress-nginx 实现金丝雀发布（灰度发布）
zing的博客
08-10 1223
K8s 1.18.6版本基于 ingress-nginx 实现金丝雀发布（灰度发布） 环境 软件 版本 kubernetes v1.18.6 nginx-ingress-controller 0.32.0 Rancher v2.4.5 本次实验基于 Rancher-v2.4.5 部署了1.18.6版本的k8s集群，nginx-ingress 版本为0.32.0，理论上 ingress-nginx >= 0.21.0都是可以的。 以下所有的实验，都可以直接在rancher U
kubernetes基于nginx-ingress进行蓝绿部署、金丝雀发布（canary）
weixin_46754666的博客
05-18 901
kubernetes基于nginx-ingress进行蓝绿部署、金丝雀发布（canary） 用户通过负载均衡器访问v1版本，关掉v1版本，接触到v2版本。 在关闭版本a部署版本b，此技术意味着服务的停机时间取决于应用程序的关闭和启动持续时间，对用户的影响较大。 kubernetes滚动更新方式： 滚动更新策略包括通过逐个替换实例来逐步更新应用程序的版本，直到所有版本更新为止，过程：在负载均衡器后面使用版本A池，部署版本B的一个实例。当服务准备好接收流量时，该实例将添加到池中，然后，从池中删除版本A的实例并.
使用k8s-ingress进行金丝雀发布
u011830181的博客
03-15 1678
k8s上进行金丝雀发布
如何使用 Nginx Ingress 快速实现金丝雀与蓝绿部署
easylife206的专栏
08-17 324
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！背景现如今，越来越多的应用采用了微服务架构，这也导致了应用数量相比传统模式更多，管理更加复杂，发布更加频繁，如果直接将新版本上线发布给全部用户。一旦遇到线上事故（或BUG），对用户的影响极大，解决问题周期较长，甚至有时不得不回滚到前一版本，严重影响了用户体验。为了保证整体系统的稳定，风险降到最低，我们可以采用灰度发布...
Kubernetes 使用Nginx-Ingress实现蓝绿发布/金丝雀发布/AB测试
热门推荐
LoveSummer
08-19 3万+
某些情况下，我们在使用Kubernetes作为业务应用的云平台，想要实现应用的蓝绿部署用来迭代应用版本，用lstio太重太复杂，而且它本身定位于流控和网格治理；Ingress-Nginx在0.21版本引入了Canary功能，可以为网关入口配置多个版本的应用程序，使用annotation来控制多个后端服务的流量分配如果想启用Canary功能，要先设置，然后可以启用以下注释来配置Canary。...
ingress-nginx-controller-1.9.yaml
10-18
在实际操作中，部署 ingress-nginx 控制器时，你需要确保集群已经安装了 Kubernetes Ingress API，并正确配置了 NodePort 或 LoadBalancer 类型的 Service，以便外部能够访问。修改好 "ingress-nginx-controller-1.9...
ingress-nginx-controller（含镜像和代码）.rar
10-28
在 Kubernetes 集群中，ingress-nginx-controller 是一种常用的网络路由控制器，它基于 Nginx 实现，用于处理来自外部的入站流量，将请求转发到相应的后端服务。本文将深入探讨 ingress-nginx-controller 的核心概念...
quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.20.0镜像包
03-06
kubernetes的quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.20.0镜像包，版本为v0.20.0。文件先解压，之后得到nginx-ingress-controller.0.20.0.tar
ingress-nginx.tar离线安装包，适用k8s版本 1.25.x~1.28.x
最新发布
05-22
ingress-nginx.tar离线安装包，适用k8s版本 1.25.x~1.28.x
k8s-修改ingress-nginx-controller中nginx配置文件参数参考
07-20
k8s-修改ingress-nginx-controller中nginx配置文件参数参考
canary环境使用nginx实现原理
o544033135的博客
12-16 254
nginx实现多canary环境支持
nginx限流
chary__chen的博客
06-28 97
nginx限流： 按连接数，即并发数（ngx_http_limit_conn_module） 按请求速率，即IP限制单位时间内的请求数（ngx_http_limit_req_module） limit_req_zone $binary_remote_addr zone=mylimit:10m rate=1r/s;//创建规则 同个IP每秒1次请求 limit_req zone=mylimit burst=1 nodelay;//应用规则 burst突发情况允许请求次数排队 ...
在kubernetes中使用nginx ingress实现灰度部署
nangonghen的博客
07-03 1027
概述 1）kuberntes集群环境：v1.14.2。 2）nginx ingress版本：nginx-ingress-controller:0.25.0。 3）nginx ingress部署方式：daemonset，并直接使用宿主网络（即host模式），80端口。 4）官方文档地址：https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/#canary 1）基于权重的灰度发布（30%请求流入
Kubernetes Ingress-nginx高级用法
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
03-20 4141
1、什么是ingress ngress（在kubernetes v1.1时添加）暴露从集群外到集群内服务的HTTP或HTTPS路由。定义在ingress资源上的规则控制流量的路由。 internet | [ Ingress ] --|-----|-- [ Services ] 一个ingress可以配置用于提供外部可访问的服务url、负载均衡流量、SSL终端和提供虚拟主机名配置。ingress controller负责实现（通常使用负载均衡器(loa.
nginx-ingress蓝绿部署权重测试
weixin_42323738的博客
03-20 295
3、要求：所有带有“version:canary”请求头的请求，都打到灰度的pod上面。结果：压测500次，所有请求都打到了灰度的pod上面。2、正式pod1个/canary 2个 ，canary权重占比 30%发送1000个请求，canary占139 + 138 = 277个。结果：压测500次，所有请求都打到了灰度的pod上面。发送500个请求，canary占71+72=143个。发送500个请求 ，canary占147个。发送1000个请求，canary占293个。
Ingress-NginX传递自定义header
迷途的攻城狮
05-22 1万+
Ingress-NginX传递自定义header 今天在Kubernetes集群中配置Ingress时遇到一个奇怪的问题：配置好Ingress之后可以通过Ingress正常访问系统，但是输入用户名密码之后登陆失败。但是通过NodePort暴露服务时可以正常访问和登录。接下来进过调试发现是在获取用户信息时出错，无法从Request header中取到自定义的用户信息字段。 参考此文章发现，Ngi...
Ingress进行灰度发布
qq_44397993的博客
02-10 2953
现在一些业务在有新版本上线时，通常新版本即使在自己本地测试后，发布到线上环境也可能会出现一些问题，就会回滚到老版本，现在我们新版本的上线都会采取灰度发布，先让一小部分的流量请求到新版本，其余流量请求到老版本，等新版本验证没问题，逐渐让流量都请求到新版本，然后下架老版本。 下面就用ingress来做下灰度发布，首先还是需要部署两个服务，一个代表老版本，一个代表新版本，我这边还是用nginx来测试，两个nginx服务部署如下： 然后用ingress去分别代理这两个服务，我们这里采取权重的策略，来做流量的分发，达
灰度发布、蓝绿部署、金丝雀都是啥？
m0_38017860的博客
04-19 6906
目录 滚动部署 蓝绿发布 为什么还需要蓝绿 金丝雀发布（canary） 金丝雀和蓝绿的对比 灰度发布 A/B Test 实现 kubernetes istio spring cloud 网关 参考 滚动部署 在滚动部署中，应用的新版本逐步替换旧版本。实际的部署发生在一段时间内。在此期间，新旧版本会共存，而不会影响功能和用户体验。这个过程可以更轻易的回滚和旧组件不兼容的任何新组件。 下图显示了该部署模式：旧版本显示为蓝色，新版本显示为绿色，它们部署在集群中的每一台
如何使用Nginx Ingress实现灰度发布和蓝绿发布？
Docker的专栏
01-16 1228
▲点击上方“分布式实验室”关注公众号回复“1”抽取技术书Ingress基于七层的HTTP和HTTPS协议进行转发，可以通过域名和路径对访问做到更细粒度的划分。Ingress作为Kuber...
INGRESS-NGINX
07-10
Ingress-Nginx是一个开源的Kubernetes Ingress控制器，用于管理和暴露Kubernetes集群中的服务。它基于Nginx的反向代理功能，可以提供负载均衡、SSL终止、路径和主机基础的路由等功能。 Ingress-Nginx可以将外部流量...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值