k8s Pod简介与探针实现零宕机发布

已于 2022-11-14 10:00:38 修改
阅读量765 收藏 5
点赞数 2
分类专栏： 架构师之路 Kubernetes 文章标签： kubernetes docker 容器 云计算 linux
于 2022-11-14 09:56:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56903457/article/details/127841169
版权

目录

一、Pod简介

Pod的退出流程

1、什么是Pod

2、定义一个Pod

二、探针、零宕机发布

1、Pod探针

2、Pod探针的检测方式

3、探针检查参数配置

4、startupProbe

5、liveness

6、readiness

7、Pod 优雅关闭

一、Pod简介

Pod的退出流程

  • 管理员 执行的删除操作

  • Pod 的状态为 terminating

  • EndPoint 会删除 对应的 Pod-IP

  • 执行Prestop的指令

1、什么是Pod

Pod是Kubernetes中最小的单元，它由一组、一个或多个容器组成，每个Pod还包含了一个Pause容器，Pause容器是Pod的父容器，主要负责僵尸进程的回收管理，通过Pause容器可以使同一个Pod里面的多个容器共享存储、网络、PID、IPC等。

通过Pod的概念能够方便 管理容器，因为容器不只一种，有多种容器

副本的概念，便捷的扩容与伸缩，资源的管理，Pod使容器之间的通信更为密切(通过Pause镜像)，减少端口的资源浪费

2、Pod基础参数解析

apiVersion: v1 # 必选，API的版本号
kind: Pod       # 必选，类型Pod
metadata:       # 必选，元数据
  name: nginx   # 必选，符合RFC 1035规范的Pod名称
  # namespace: default # 可选，Pod所在的命名空间，不指定默认为default，可以使用-n 指定namespace 
  labels:       # 可选，标签选择器，一般用于过滤和区分Pod，根据业务自定义
    app: nginx
    role: frontend # 可以写多个
  annotations:  # 可选，注释列表，可以写多个
    app: nginx1.21  #可以注释一些 Nginx版本
spec:   # 必选，用于定义容器的详细信息
#  initContainers: # 初始化容器，在容器启动之前执行的一些初始化操作
#  - command:
#    - sh
#    - -c
#    - echo "I am InitContainer for init some configuration"
#    image: busybox
#    imagePullPolicy: IfNotPresent
#    name: init-container
  containers:   # 必选，容器列表
  - name: nginx # 必选，符合RFC 1035规范的容器名称
    image: nginx:1.15.2    # 必选，容器所用的镜像的地址
    imagePullPolicy: IfNotPresent     # 可选，镜像拉取策略, IfNotPresent: 如果宿主机有这个镜像，那就不需要拉取了. Always: 总是拉取, Never: 不管是否存储都不拉去
    command: # 可选，容器启动执行的命令 ENTRYPOINT, arg --> cmd
    - nginx 
    - -g
    - "daemon off;"
    workingDir: /usr/share/nginx/html       # 可选，容器的工作目录
#    volumeMounts:   # 可选，存储卷配置，可以配置多个
#    - name: webroot # 存储卷名称
#      mountPath: /usr/share/nginx/html # 挂载目录
#      readOnly: true        # 只读
    ports:  # 可选，容器需要暴露的端口号列表
    - name: http    # 端口名称
      containerPort: 80     # 端口号
      protocol: TCP # 端口协议，默认TCP
    env:    # 可选，环境变量配置列表
    - name: TZ      # 变量名
      value: Asia/Shanghai # 变量的值
    - name: LANG
      value: en_US.utf8
#    resources:      # 可选，资源限制和资源请求限制
#      limits:       # 最大限制设置
#        cpu: 1000m
#        memory: 1024Mi
#      requests:     # 启动所需的资源
#        cpu: 100m
#        memory: 512Mi
#    startupProbe: # 可选，检测容器内进程是否完成启动。注意三种检查方式同时只能使用一种。
#      httpGet:      # httpGet检测方式，生产环境建议使用httpGet实现接口级健康检查，健康检查由应用程序提供。
#            path: /api/successStart # 检查路径
#            port: 80
#    readinessProbe: # 可选，健康检查。注意三种检查方式同时只能使用一种。
#      httpGet:      # httpGet检测方式，生产环境建议使用httpGet实现接口级健康检查，健康检查由应用程序提供。
#            path: / # 检查路径
#            port: 80        # 监控端口
#    livenessProbe:  # 可选，健康检查
      #exec:        # 执行容器命令检测方式
            #command: 
            #- cat
            #- /health
    #httpGet:       # httpGet检测方式
    #   path: /_health # 检查路径
    #   port: 8080
    #   httpHeaders: # 检查的请求头
    #   - name: end-user
    #     value: Jason 
#      tcpSocket:    # 端口检测方式
#            port: 80
#      initialDelaySeconds: 60       # 初始化时间
#      timeoutSeconds: 2     # 超时时间
#      periodSeconds: 5      # 检测间隔
#      successThreshold: 1 # 检查成功为2次表示就绪
#      failureThreshold: 2 # 检测失败1次表示未就绪
#    lifecycle:
#      postStart: # 容器创建完成后执行的指令, 可以是exec httpGet TCPSocket
#        exec:
#          command:
#          - sh
#          - -c
#          - 'mkdir /data/ '
#      preStop:
#        httpGet:      
#              path: /
#              port: 80
      #  exec:
      #    command:
      #    - sh
      #    - -c
      #    - sleep 9
  restartPolicy: Always   # 可选，默认为Always，容器故障或者没有启动成功，那就自动该容器，Onfailure: 容器以不为0的状态终止，自动重启该容器, Never:无论何种状态，都不会重启
  #nodeSelector: # 可选，指定Node节点
  #      region: subnet7
#  imagePullSecrets:     # 可选，拉取镜像使用的secret，可以配置多个
#  - name: default-dockercfg-86258
#  hostNetwork: false    # 可选，是否为主机模式，如是，会占用主机端口
#  volumes:      # 共享存储卷列表
#  - name: webroot # 名称，与上述对应
#    emptyDir: {}    # 挂载目录
#        #hostPath:              # 挂载本机目录
#        #  path: /etc/hosts
 

二、探针、零宕机发布
 

1、Pod探针
 

🔺实现 零宕机 上线应用
 

  •  
    StartupProbe：k8s1.16版本后新加的探测方式，用于判断容器内应用程序是否已经启动。如果配置了startupProbe，就会先禁止其他的探测，直到它成功为止，成功后将不在进行探测。
     
  •  
    LivenessProbe：用于探测容器是否运行，如果探测失败，kubelet会根据配置的重启策略进行相应的处理。若没有配置该探针，默认就是success。
     
  •  
    ReadinessProbe：一般用于探测容器内的程序是否健康，它的返回值如果为success，那么久代表这个容器已经完成启动，并且程序已经是可以接受流量的状态。
     
 

 

2、Pod探针的检测方式
 

  •  
    ExecAction：在容器内执行一个命令，如果返回值为0，则认为容器健康。
     
 

livenessProbe:
  exec:
    command:
    - pgrep
    - nginx
 

  •  
    TCPSocketAction：通过TCP连接检查容器内的端口是否是通的，如果是通的就认为容器健康。
     
 

livenessProbe:
  tcpSocket:
    port: 80
 

  •  
    HTTPGetAction：通过应用程序暴露的API地址来检查程序是否是正常的，如果状态码为200~400之间，则认为容器健康。
     
 

linvenessProbe:
  httpGet:
    path: /index.html
    port: 80
 

  •  
    在公司，开发人员需要暴露该服务的两个健康检查API接口，如果测试两个API接口通，代表容器正常运行，不会去误停容器。
     
 

3、探针检查参数配置
 

探针的参数
 

  •  
    initialDelaySeconds: 3
     
  
    •  
      容器的初始化时长，用于容器中的服务初始化时间较长的场景
       
    •  
      合理使用初始化时长，避免容器中的应用应初始化时长被探针检测失败
       
  •  
    timeoutSeconds: 2
     
  
    •  
      超时时长，检测一个容器中的服务，超时2秒，认定检测失败
       
  •  
    periodSeconds: 2
     
  
    •  
      当检测失败后，每隔 2 秒检测一次
       
  •  
    successThreshold: 1
     
  
    •  
      检测成功的次数，检测1次成功认定该容器ready
       
  •  
    failureThreshold: 2
     
  
    •  
      检测失败的次数，有两次检测失败，认定该容器 NotReady
       
 

 

检测失败的重启时长
 

  •  
    容器初始化检测失败的时长，唯一的区别就是加上容器初始化时长
     
  
    •  
      { ( timeoutSecounds + periodSeconds ) * failureThreshold } + initialDelaySeconds
       
    •  
      { (2+2) * 2} + 3 = 11s
       
  •  
    容器启动之后检测的方式
     
  
    •  
      ( timeoutSecounds + periodSeconds ) * failureThreshold
       
    •  
      {(2+2) * 2 = 8s
       
 

 
 
初始化时间，不建议设置太长，滚动发布受影响 ​ 
# initialDelaySecond: 60   

超时时间，命令去GET页面的超时时间 ​ 
# timeoutSeconds: 2   

检测间隔，每5秒检测一次 ​ 
# periodSeconds: 5   

检查成功为1次表示就绪，检测失败2次表示未就绪 ​ ​ 
# successThreshold: 1 
# failureThreshold: 2 

检测失败的重启时间：（2+5）* 2 = 14 s 所以检测失败次数不建议设置太大

 

 

Prestop：先去请求eureka接口，把自己的IP地址和端口号，进行下线，eureka从注册表中删除该应用的IP地址。然后容器进行sleep 90；kill pgrep java
 

🔺注意：
 

在生产环境中，一定要合理设置探针检查的参数
 

假如一个Java程序的初始化时间为90s，我们没有合理设置探测参数，这样会造成，初始化时间没有给到，后面的检查又失败，失败后Pod又被kubelet干掉，又重启，重启之后又初始化，无限循环，这样对业务造成的影响非常大
 

所以就有新的一种探针模式的增加 --> startupProbe
 

 

4、startupProbe
 

原理：在1.16+版本后，为了防止程序的初始化时间的过长，导致的Pod被检测失败与无限次的重启，设置startupProbe后，程序会在初始化时，先进行startupProbe的检测，检测期间会将其他的两种检测方式进行禁用。只执行一次，自动退出。
 

4.1、进行测试
 

[root@k8s-master01 k8s-day01]# vim pod-Probe.yaml
apiVersion: v1 # 必选，API的版本号
kind: Pod       # 必选，类型Pod
metadata:       # 必选，元数据
  name: nginx   # 必选，符合RFC 1035规范的Pod名称
  # namespace: default # 可选，Pod所在的命名空间，不指定默认为default，可以使用-n 指定namespace 
  labels:       # 可选，标签选择器，一般用于过滤和区分Pod，根据业务自定义
    app: nginx
    role: frontend # 可以写多个
  annotations:  # 可选，注释列表，可以写多个
    app: nginx1.19      #可以注释一些 Nginx版本
spec:   # 必选，用于定义容器的详细信息
  nodeSelector:
    kubernetes.io/hostname: k8s-node01
  containers:   # 必选，容器列表
  - name: nginx # 必选，符合RFC 1035规范的容器名称
    image: daocloud.io/library/nginx:latest    # 必选，容器所用的镜像的地址
    imagePullPolicy: IfNotPresent     # 可选，镜像拉取策略, IfNotPresent: 如果宿主机有这个镜像，那就不需要拉取了. Always: 总是拉取, Never: 不管是否存储都不拉去
    command: # 可选，容器启动执行的命令 ENTRYPOINT, arg --> cmd
    - nginx 
    - -g
    - "daemon off;"
    workingDir: /usr/share/nginx/html       # 可选，容器的工作目录
    ports:  # 可选，容器需要暴露的端口号列表
    - name: http    # 端口名称
      containerPort: 80     # 端口号
      protocol: TCP # 端口协议，默认TCP
    env:    # 可选，环境变量配置列表
    - name: TZ      # 变量名
      value: Asia/Shanghai # 变量的值
    - name: LANG
      value: en_US.utf8
    startupProbe: # 可选，检测容器内进程是否完成启动。注意三种检查方式同时只能使用一种。
      httpGet:      # httpGet检测方式，生产环境建议使用httpGet实现接口级健康检查，健康检查由应用程序提供。
            path: /api/successStart # 检查路径
            port: 80            
  restartPolicy: Always   # 可选，默认为Always，容器故障或者没有启动成功，那就自动该容器，Onfailure: 容器以不为0的状态终止，自动重启该容器, Never:无论何种状态，都不会重启
​
 


[root@k8s-master01 k8s-day01]# kubectl apply -f  pod-Probe.yaml 
pod/nginx created
​
[root@k8s-master01 k8s-day01]# kubectl get pod 
NAME                            READY   STATUS        RESTARTS   AGE
nginx                           0/1     Running       0          9s
​
[root@k8s-master01 k8s-day01]# kubectl get pod 
NAME                            READY   STATUS        RESTARTS   AGE
nginx                           0/1     Running       2          3m
​                                                    # 重启2次了
#可以看，nginx的Pod并未ready，一直在重启
 

4.2、解析报错信息
 

[root@k8s-master01 k8s-day01]# kubectl describe pod nginx | grep -A10 "Events"
Events:
  Type     Reason     Age                     From               Message
  ----     ------     ----                    ----               -------
  Normal   Scheduled  7m38s                   default-scheduler  Successfully assigned default/nginx to k8s-node01
  Normal   Pulled     3m56s (x4 over 7m38s)   kubelet            Container image "daocloud.io/library/nginx:latest" already present on machine
  Normal   Created    3m56s (x4 over 7m38s)   kubelet            Created container nginx
  Normal   Started    3m55s (x4 over 7m38s)   kubelet            Started container nginx
  Warning  Unhealthy  3m55s (x10 over 7m35s)  kubelet            Startup probe failed: HTTP probe failed with statuscode: 404    # 注意看这里，探针检测失败
  Normal   Killing    2m35s (x4 over 6m32s)   kubelet            Container nginx failed startup probe, will be restarted
  
 

🔺注意：从报错的信息看，HTTP probe 检测失败，主要是因为 "path: /api/successStart"，nginx网站并没有/api/successStart该路径， 我们可以加入 TcpSocker 对nginx进行Tcp方面的探测
 

4.3、进行优化，添加 TcpSocker
 

[root@k8s-master01 k8s-day01]# vim pod-Probe.yaml
#进行注释与添加
startupProbe: # 可选，检测容器内进程是否完成启动。注意三种检查方式同时只能使用一种。
    #  httpGet:      # httpGet检测方式，生产环境建议使用httpGet实现接口级健康检查，健康检查由应用程序提供。
    #        path: /api/successStart # 检查路径
    #        port: 80
      tcpSocket:
        port: 80
 

[root@k8s-master01 k8s-day01]# kubectl apply -f pod-Probe.yaml 
pod/nginx created
​
[root@k8s-master01 k8s-day01]# kubectl get pod
NAME                            READY   STATUS        RESTARTS   AGE
nginx                           1/1     Running       0          2m14s
​
[root@k8s-master01 k8s-day01]# kubectl describe pod nginx | grep -A10 "^Event"
Events:
  Type    Reason     Age    From               Message
  ----    ------     ----   ----               -------
  Normal  Scheduled  3m24s  default-scheduler  Successfully assigned default/nginx to k8s-node01
  Normal  Pulled     3m24s  kubelet            Container image "daocloud.io/library/nginx:latest" already present on machine
  Normal  Created    3m24s  kubelet            Created container nginx
  Normal  Started    3m24s  kubelet            Started container nginx
 

🔺：可以看到，Pod已经重新恢复，主要是 tcpSocket 检测 80端口 成功，nginx默认80端口
 

 

5、liveness
 

🔺注意：一定要使用接口级的健康检查 /path /index.html.........，尽量少使用命令去检查 pgrep nginx
 

apiVersion: v1 # 必选，API的版本号
kind: Pod       # 必选，类型Pod
metadata:       # 必选，元数据
  name: nginx   # 必选，符合RFC 1035规范的Pod名称
  # namespace: default # 可选，Pod所在的命名空间，不指定默认为default，可以使用-n 指定namespace 
  labels:       # 可选，标签选择器，一般用于过滤和区分Pod，根据业务自定义
    app: nginx
    role: frontend # 可以写多个
  annotations:  # 可选，注释列表，可以写多个
    app: nginx1.21      #可以注释一些 Nginx版本
spec:   # 必选，用于定义容器的详细信息
  nodeSelector:
    kubernetes.io/hostname: k8s-node01
  containers:   # 必选，容器列表
  - name: nginx # 必选，符合RFC 1035规范的容器名称
    image: daocloud.io/library/nginx:latest    # 必选，容器所用的镜像的地址
    imagePullPolicy: IfNotPresent     # 可选，镜像拉取策略, IfNotPresent: 如果宿主机有这个镜像，那就不需要拉取了. Always: 总是拉取, Never: 不管是否存储都不拉去
    command: # 可选，容器启动执行的命令 ENTRYPOINT, arg --> cmd
    - nginx 
    - -g
    - "daemon off;"
    ports:  # 可选，容器需要暴露的端口号列表
    - name: http    # 端口名称
      containerPort: 80     # 端口号
      protocol: TCP # 端口协议，默认TCP
    env:    # 可选，环境变量配置列表
    - name: TZ      # 变量名
      value: Asia/Shanghai # 变量的值
    - name: LANG
      value: en_US.utf8
    startupProbe: # 可选，检测容器内进程是否完成启动。注意三种检查方式同时只能使用一种。
    #  httpGet:      # httpGet检测方式，生产环境建议使用httpGet实现接口级健康检查，健康检查由应用程序提供。
    #        path: /api/successStart # 检查路径
    #        port: 80
      tcpSocket:
        port: 80
    readinessProbe: # 可选，健康检查。注意三种检查方式同时只能使用一种。
      httpGet:      # httpGet检测方式，生产环境建议使用httpGet实现接口级健康检查，健康检查由应用程序提供。
            path: / # 检查路径
            port: 80        # 监控端口
#-------------------------------------------------
    livenessProbe:  # 可选，健康检查
      #exec:        # 执行容器命令检测方式
            #command: 
            #- cat
            #- /health
      httpGet:       # httpGet检测方式
         path: /index.html # 检查路径
         port: 80
    #   httpHeaders: # 检查的请求头
    #   - name: end-user
    #     value: Jason 
#-------------------------------------------------
      initialDelaySeconds: 3    # 初始化时间
      timeoutSeconds: 2     # 超时时间
      periodSeconds: 2      # 检测间隔
      successThreshold: 1 # 检查成功为2次表示就绪
      failureThreshold: 2 # 检测失败1次表示未就绪

  restartPolicy: Always 
 

6、readiness
 

  •  
    readiness 美 /'rɛdɪnəs/ 英 /'redɪnəs/ n. 敏捷，迅速；准备就绪；愿意
     
 

解析：自定义 监控项对容器启动时的监控，如果监测失败，不会去重启容器，不会停止容器
 

只会 限制 服务的 进出流量，用户只能通过 Pod-IP进行访问，无法从Cluster-IP、NodePort-IP进行访问。
 

1、报错演示
 

[root@k8s-master01 k8s-day01]# vim pod-Probe.yaml

apiVersion: v1 # 必选，API的版本号
kind: Pod       # 必选，类型Pod
metadata:       # 必选，元数据
  name: nginx   # 必选，符合RFC 1035规范的Pod名称
  # namespace: default # 可选，Pod所在的命名空间，不指定默认为default，可以使用-n 指定namespace 
  labels:       # 可选，标签选择器，一般用于过滤和区分Pod，根据业务自定义
    app: nginx
    role: frontend # 可以写多个
  annotations:  # 可选，注释列表，可以写多个
    app: nginx1.21      #可以注释一些 Nginx版本
spec:   # 必选，用于定义容器的详细信息
  nodeSelector:
    kubernetes.io/hostname: k8s-node01
  containers:   # 必选，容器列表
  - name: nginx # 必选，符合RFC 1035规范的容器名称
    image: daocloud.io/library/nginx:latest    # 必选，容器所用的镜像的地址
    imagePullPolicy: IfNotPresent     # 可选，镜像拉取策略, IfNotPresent: 如果宿主机有这个镜像，那就不需要拉取了. Always: 总是拉取, Never: 不管是否存储都不拉去
    command: # 可选，容器启动执行的命令 ENTRYPOINT, arg --> cmd
    - nginx 
    - -g
    - "daemon off;"
    workingDir: /usr/share/nginx/html       # 可选，容器的工作目录
    ports:  # 可选，容器需要暴露的端口号列表
    - name: http    # 端口名称
      containerPort: 80     # 端口号
      protocol: TCP # 端口协议，默认TCP
    env:    # 可选，环境变量配置列表
    - name: TZ      # 变量名
      value: Asia/Shanghai # 变量的值
    - name: LANG
      value: en_US.utf8
#"---------------------------------------------------------------------------"
    readinessProbe: # 可选，健康检查。注意三种检查方式同时只能使用一种。
      httpGet:      # httpGet检测方式，生产环境建议使用httpGet实现接口级健康检查，健康检查由应用程序提供。
            path: /a.html # 检查路径，该路径不存在
            port: 80        # 监控端口
#"---------------------------------------------------------------------------"
      initialDelaySeconds: 3    # 初始化时间
      timeoutSeconds: 2     # 超时时间
      periodSeconds: 2      # 检测间隔
      successThreshold: 1 # 检查成功为2次表示就绪
      failureThreshold: 2 # 检测失败1次表示未就绪
      preStop:  #容器关闭之前执行的命令
  restartPolicy: Always


[root@k8s-master01 k8s-day01]# vim nginx-svc.yaml 
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc

spec:
  type: NodePort
  ports:
  - name: http
    port: 80
    targetPort: 80    # 映射端口，nginx服务为80端口，如果mysql就3306
    nodePort: 30080   # 映射到外部的端口，可以在外部浏览器访问 Node-IP:30080
  - name: https       # SSL
    port: 443
    targetPort: 443
    nodePort: 30443
  selector:            # 上方的Nginx设置的 Labels
    app: nginx
 

[root@k8s-master01 k8s-day01]# kubectl apply -f pod-Probe.yaml 
pod/nginx created

[root@k8s-master01 k8s-day01]# kubectl get pod -o wide
NAME              READY   STATUS        RESTARTS   AGE     IP               NODE           
nginx             0/1     Running       0          5m7s    172.17.125.11    k8s-node01  

[root@k8s-master01 k8s-day01]# kubectl apply -f nginx-svc.yaml 
service/nginx-svc configured
[root@k8s-master01 k8s-day01]# kubectl get svc
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP                      3d20h
nginx-svc    NodePort    10.106.106.114   <none>        80:30080/TCP,443:30443/TCP   3d15h
                                           # 10.106.106.114:80 -> 192.168.178.54:30080
                                                                 （部署Pod的Node-IP）
 


查看报错日志信息：

 

[root@k8s-master01 k8s-day01]# kubectl describe pod nginx | grep -A10 "Event"
Events:
  Type     Reason     Age                     From               Message
  ----     ------     ----                    ----               -------
  Normal   Scheduled  3m24s                   default-scheduler  Successfully assigned default/nginx to k8s-node01
  Normal   Pulled     3m24s                   kubelet            Container image "daocloud.io/library/nginx:latest" already present on machine
  Normal   Created    3m24s                   kubelet            Created container nginx
  Normal   Started    3m24s                   kubelet            Started container nginx
  Warning  Unhealthy  2m39s (x22 over 3m21s)  kubelet            Readiness probe failed: HTTP probe failed with statuscode: 404

2、使用容器内部进行访问，可以看到访问成功：
[root@k8s-master01 k8s-day01]# kubectl exec -it nginx -- sh
# curl -I localhost:80
HTTP/1.1 200 OK
Server: nginx/1.19.6
Date: Thu, 11 Nov 2021 06:07:30 GMT
# curl -I 172.17.125.11:80
HTTP/1.1 200 OK
Server: nginx/1.19.6
Date: Thu, 11 Nov 2021 06:15:05 GMT

3、使用外部、集群IP进行访问进行访问，访问失败，进出流量限制：
[root@k8s-master01 k8s-day01]# curl -I 10.106.106.114:80
curl: (7) Failed connect to 10.106.106.114:80; Connection refused
[root@k8s-master01 k8s-day01]# curl -I 192.168.178.54:30080
curl: (7) Failed connect to 192.168.178.54:30080; Connection refused
 

2、正确演示
 

#找到并修改
    readinessProbe: 
      httpGet:      
            path: /index.html # 修改此处即可
            port: 80       
 

[root@k8s-master01 k8s-day01]# kubectl describe pod nginx | grep -A10 "Event"
Events:
  Type     Reason     Age                     From               Message
  ----     ------     ----                    ----               -------
  Normal   Scheduled  3m24s                   default-scheduler  Successfully assigned default/nginx to k8s-node01
  Normal   Pulled     3m24s                   kubelet            Container image "daocloud.io/library/nginx:latest" already present on machine
  Normal   Created    3m24s                   kubelet            Created container nginx
  Normal   Started    3m24s                   kubelet            Started container nginx
  Warning  Unhealthy  2m39s (x22 over 3m21s)  kubelet            Readiness probe failed: HTTP probe failed with statuscode: 404

2、使用容器内部进行访问，可以看到访问成功：
[root@k8s-master01 k8s-day01]# kubectl exec -it nginx -- sh
# curl -I localhost:80
HTTP/1.1 200 OK
Server: nginx/1.19.6
Date: Thu, 11 Nov 2021 06:07:30 GMT
# curl -I 172.17.125.11:80
HTTP/1.1 200 OK
Server: nginx/1.19.6
Date: Thu, 11 Nov 2021 06:15:05 GMT

3、使用外部、集群IP进行访问进行访问，访问失败，进出流量限制：
[root@k8s-master01 k8s-day01]# curl -I 10.106.106.114:80
curl: (7) Failed connect to 10.106.106.114:80; Connection refused
[root@k8s-master01 k8s-day01]# curl -I 192.168.178.54:80
curl: (7) Failed connect to 192.168.178.54:80; Connection refused
 

[root@k8s-master01 k8s-day01]# kubectl apply -f pod-Probe.yaml 
pod/nginx created
[root@k8s-master01 k8s-day01]# kubectl get pod -o wide
NAME              READY   STATUS        RESTARTS   AGE     IP               NODE           
nginx             1/1     Running       0          18s     172.17.125.12    k8s-node01    

1、使用容器内部访问，访问成功：
[root@k8s-master01 k8s-day01]# kubectl exec -it nginx -- sh
# curl -I  172.17.125.12:80
HTTP/1.1 200 OK
Server: nginx/1.19.6
Date: Thu, 11 Nov 2021 06:40:58 GMT

2、使用容器Cluster-IP、NodePort访问，成功：
[root@k8s-master01 k8s-day01]# kubectl get svc
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP                      3d20h
nginx-svc    NodePort    10.106.106.114   <none>        80:30080/TCP,443:30443/TCP   3d15h

[root@k8s-master01 k8s-day01]# curl -I 10.106.106.114:80
HTTP/1.1 200 OK
Server: nginx/1.19.6
Date: Thu, 11 Nov 2021 06:42:17 GMT

[root@k8s-master01 k8s-day01]# curl -I 192.168.178.54:30080
HTTP/1.1 200 OK
Server: nginx/1.19.6
Date: Thu, 11 Nov 2021 06:42:37 GMT
 

 

7、Pod 优雅关闭
 

🔺：零宕机下线应用
 

  •  
    合理使用 proStop，进行容器退出时执行的命令
     
 

1、Pod优雅关闭
 

模式：
 

  •  
    postStart
     
  
    •  
      容器在启动之前做的一系列指定操作，比如 提前创建 目录、文件、执行脚本等。
       
  •  
    preStop
     
  
    •  
      容器关闭之后，执行的命令
       
    •  
      通常我们会使用该参数进行 Pod 的优雅关闭，实现 零宕机 下线服务
       
 

spec:  
  terminationGracePeriods: 90s
  containers:
    lifecycle:
      preStop:  #容器关闭之前执行的命令
        exec:
          command:
          - sh
          - -c
          - sleep 90;kill `pgrep nginx`	
 

  •  
    可以看到下方的 yaml 配置 ，nginx 在退出时，执行了睡眠操作，保证容器中的服务 有足够的时间进行下线操作(处理服务关闭之前，接收的服务未进行处理，等待处理完成后，关闭服务，保证数据的完整性)
     
 

🔺注意：
 

  •  
    我们往往会忽视一个参数，terminationGracePeriodSeconds (容器优雅的关闭的时间间隔)
     
  •  
    这参数默认为30秒，就算你不设置， terminationGracePeriodSeconds: 30
     
 

⛔再次注意：
 

  •  
    如果你想使 容器 进行 90s 的优雅关闭时长，那你的参数应该为 terminationGracePeriodSeconds: 90
     
  
    •  
      加入你设置的 sleep 时长为 90s ，你的参数为 terminationGracePeriodSeconds: 30，那肯定容器只等待30s左右就会关闭，你应该设置参数为 50s，才能保证 sleep 50 运行成功
       
  •  
    所以我们在进行容器优雅下线时，要合理使用 preStop 与 该参数
     
 

 

2、效果演示
 

1️⃣默认情况：terminationGracePeriodSeconds: 30
 

apiVersion: v1 # 必选，API的版本号
kind: Pod       # 必选，类型Pod
metadata:       # 必选，元数据
  name: nginx   # 必选，符合RFC 1035规范的Pod名称
  # namespace: default # 可选，Pod所在的命名空间，不指定默认为default，可以使用-n 指定namespace 
  labels:       # 可选，标签选择器，一般用于过滤和区分Pod，根据业务自定义
    app: nginx
    role: frontend # 可以写多个
  annotations:  # 可选，注释列表，可以写多个
    app: nginx1.21      #可以注释一些 Nginx版本
spec:   # 必选，用于定义容器的详细信息
  nodeSelector:
    kubernetes.io/hostname: k8s-node01
  containers:   # 必选，容器列表
  - name: nginx # 必选，符合RFC 1035规范的容器名称
    image: daocloud.io/library/nginx:latest    # 必选，容器所用的镜像的地址
    imagePullPolicy: IfNotPresent     # 可选，镜像拉取策略, IfNotPresent: 如果宿主机有这个镜像，那就不需要拉取了. Always: 总是拉取, Never: 不管是否存储都不拉去
    command: # 可选，容器启动执行的命令 ENTRYPOINT, arg --> cmd
    - nginx 
    - -g
    - "daemon off;"
    workingDir: /usr/share/nginx/html       # 可选，容器的工作目录
    ports:  # 可选，容器需要暴露的端口号列表
    - name: http    # 端口名称
      containerPort: 80     # 端口号
      protocol: TCP # 端口协议，默认TCP
    env:    # 可选，环境变量配置列表
    - name: TZ      # 变量名
      value: Asia/Shanghai # 变量的值
    - name: LANG
      value: en_US.utf8
    startupProbe: # 可选，检测容器内进程是否完成启动。注意三种检查方式同时只能使用一种。
      tcpSocket:
        port: 80
    readinessProbe: # 可选，健康检查。注意三种检查方式同时只能使用一种。
      httpGet:      # httpGet检测方式，生产环境建议使用httpGet实现接口级健康检查，健康检查由应用程序提供。
            path: / # 检查路径
            port: 80        # 监控端口
    livenessProbe:  # 可选，健康检查
      httpGet:       # httpGet检测方式
         path: /index.html # 检查路径
         port: 80
      initialDelaySeconds: 3    # 初始化时间
      timeoutSeconds: 2     # 超时时间
      periodSeconds: 2      # 检测间隔
      successThreshold: 1 # 检查成功为2次表示就绪
      failureThreshold: 2 # 检测失败1次表示未就绪
    lifecycle:
      preStop:  #容器关闭之前执行的命令
        exec:
          command:
          - sh
          - -c
#"----------------------------------------------------------------------"
          - sleep 90;kill `pgrep nginx`		#设置 90 秒关闭 容器
#"----------------------------------------------------------------------"
  restartPolicy: Always 
 

[root@k8s-master01 k8s-day01]# kubectl apply -f pod-Probe.yaml 
pod/nginx created

[root@k8s-master01 k8s-day01]# kubectl get pod
NAME                            READY   STATUS        RESTARTS   AGE
nginx                           1/1     Running       0          15s


[root@k8s-master01 k8s-day01]# time kubectl delete -f pod-Probe.yaml 
pod "nginx" deleted

real	0m36.076s
user	0m0.051s
sys	0m0.031s
#这里可以看到，容器并没有 90 秒退出，默认的 terminationGracePeriodSeconds 为30s
 

 

2️⃣修改：terminationGracePeriodSeconds: 90s
 

spec:   # 必选，用于定义容器的详细信 息
  nodeSelector:
    kubernetes.io/hostname: k8s-node01
# "----------------------------------------------------------------------"
  terminationGracePeriodSeconds: 90		#添加此行，为 90s 进行优雅关闭容器
# "-----------------------------------------------------------------------"
 

[root@k8s-master01 k8s-day01]# kubectl apply -f pod-Probe.yaml 
pod/nginx created  
  
[root@k8s-master01 k8s-day01]# time kubectl delete -f pod-Probe.yaml 
pod "nginx" deleted

real	1m32.343s	#可以看到 关闭时长为 90s
user	0m0.057s
sys	0m0.022s

                

        

        

    




    

      

        

            

              
                
                  今天不学习，明天变"咸鱼" >_<
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    2
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    5
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  1
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
CC00126.CloudKubernetes——|KuberNetes&基础标签.V09|——|pod三种探针.V02|startupProbe|

				
			

			

				

					yanqi_vip
				

				

					03-30
					
					658
					
				

			

		

		

			
				
一、为什么要引入startupProbe





### --- 为什么要引入startupProbe？

~~~     # 这个容器启动特别慢，启动之后会进行一系列的初始化操作，比如加载数据，同步操作。
~~~     载入各种数据等，这个过程会非常慢，
~~~     但是你把检测的过程放在LivenessProbe里面，
~~~     会造成容器起来之后需要很长的时间才会把容...

			
		

	



                

              
                



	

		

			

				
					
科普DevOps趋势下k8s环境应用自动发布的实现

				
			

			

				

					hanniuniu11的博客
				

				

					07-25
					
					440
					
				

			

		

		

			
				
随着DevOps成为一种趋势， PaaS平台集成解决方案也是热门话题之一，F5与PssS（k8s为例）集成的方案也是备受关注。这个方案有四个重要的方面，分别是管理平台的高可用安全、应用自动发布、蓝绿发布、可视化，今天与大家探讨的就是k8s环境下应用自动发布。
众所周知，Kubernetes设计角度灵活的利于了clusterip实现了集群内部的服务互访，然而针对面向互联网的应用，需要实现基于集群外部...

			
		

	



                


  
              

                


	

		

			

				
					
k8s进阶-容器探测

				
			

			

				

					flyfhj的博客
				

				

					12-31
					
					1636
					
				

			

		

		

			
				
容器探测用于检测容器中的应用实例是否正常工作，通过向目前容器周期性发出不同方式的探针，以检测目标实例的健康状态，k8s环境下微服务应用的健康监控是必不可少的环节，本章节也将结合springboot健康检查插件来整合支持k8s的容器探测1、存活探针不会等待就绪性探针成功2、如果就绪态探针实现不正确，可能会导致容器中进程的数量不断上升3、如果要在执行存活探针之前等待，可以使用或4、针对 HTTP 或 TCP 探测，通过将启动探针。

			
		

	





	

		

			

				
					
K8S 日常故障处理

				
			

			

				

					建伟博客
				

				

					01-28
					
					1万+
					
				

			

		

		

			
				
K8S 日常故障处理

			
		

	



		

			
		



	

		

			

				
					
【解决方案】istio-ingressgateway HTTP probe failed with statuscode: 503

				
			

			

				

					肥宅Sean
				

				

					03-18
					
					5016
					
				

			

		

		

			
				
简单描述
直观上来看，问题是出在istio-proxy这个sidecar容器上了。
一般来说，问题是处在了istio-system中的pilot和容器之间的连接上了。这样看来，其实问题有很多种，比如

pilot 挂掉了
pod中的 istio-proxy 容器的 /etc/resolv.conf 中的nameserver没有指向集群的 kube-dns （ip不一致）
…

很多大佬在文档中描述的都是第二种， 比如：

https://zhuanlan.zhihu.com/p/81254908

但是第一

			
		

	





	

		

			

				
					
记一次K8S无感知不停机升级优化

				
			

			

				

					发现问题，面对问题，分析问题，解决问题，总结问题
				

				

					03-21
					
					4132
					
				

			

		

		

			
				
文章目录背景Deployment滚动更新策略容器探针检查机制探测结果探测类型删除和新建Pod情况分析【1】新Pod启动时请求处理【2】删除pod时请求处理参考
背景
在部署项目版本升级过程中发现每次都会出现2分钟左右的502停机情况，在进行问题和排查过程中发现如下配置中存在一些可以优化的点，本文是这次操作过程的总结以及一些简单的扩展。

分析下上面配置，使用是没有问题的，但是没有很好的利用K8s的一些特性机制来提升升级的效率，首先我们使用了Deployment声明式组件，该组件为 Pods 和 Replic

			
		

	





	

		

			

				
					
k8s宕机pod自动迁移方案

				
			

			

				

					07-24
				

			

		

		

			
				
k8s 宕机 Pod 自动迁移方案可以通过调整节点被标记为不健康的时间和 Pod 对节点不健康的容忍时长来实现。这将有助于在节点出现异常时及时将 Pod 驱逐并在其他健康节点上重建，以确保高可用性和服务的连续性。

			
		

	





	

		

			

				
					
k8s中pod监控看板

					
最新发布

				
			

			

				

					12-15
				

			

		

		

			
				
k8s中pod监控看板

			
		

	





	

		

			

				
					
k8s+k8s+pod介绍与网络通讯+配合博文

				
			

			

				

					03-30
				

			

		

		

			
				
Flannel是k8s的一种网络插件，用于实现跨节点的Pod间通信。它为每个节点分配一个子网，并在节点间建立隧道，使得Pod可以在集群内部自由通信。Flannel提供了多种网络后端，如VXLAN、UDP等，以适应不同的网络环境。  5...

			
		

	





	

		

			

				
					
K8S – 探针 – readinessProbe

				
			

			

				

					01-07
				

			

		

		

			
				
readinessProbe: 指示容器是否准备好服务请求。如果就绪探针失败，端点控制器将从...[root@k8s-master01 k8s-test]# cat readiness.yaml apiVersion: v1 kind: Pod metadata:  name: readiness-httpget-pod  namespace

			
		

	





	

		

			

				
					
K8S监控模板，用于k8S集群Pod监控

				
			

			

				

					03-08
				

			

		

		

			
				
 - Prometheus：流行的开源监控系统，可与K8S集成，收集和存储指标。  - Grafana：可视化工具，用于展示Prometheus收集的数据，创建自定义仪表板。  - Alertmanager：处理Prometheus生成的警报，发送通知。  3. 文件...

			
		

	





	

		

			

				
					
SpringBoot + K8S 中的滚动发布、优雅停机、弹性伸缩、应用监控、配置分离

				
			

			

				

					2301_77463738的博客
				

				

					05-25
					
					1619
					
				

			

		

		

			
				
基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能。K8s + SpringBoot实现零宕机发布：健康检查+滚动更新+优雅停机+弹性伸缩+Prometheus监控+配置分离（镜像复用）此外，若需使用回调钩子，需保证镜像中包含curl工具，且需注意应用管理端口（50000）不能暴露到公网。注：经验证，java项目可省略结束回调钩子的配置。

			
		

	





	

		

			

				
					
k8s报错：Liveness probe failed: HTTP probe failed with statuscode: 404

				
			

			

				

					Yucen的博客
				

				

					02-01
					
					2万+
					
				

			

		

		

			
				
k8s中pod部署失败，状态为CrashLoopBackOff，观察详细信息，报错：


Warning  Unhealthy  28m (x4253 over 2d23h)     kubelet, 10.253.84.20  Liveness probe failed: HTTP probe failed with statuscode: 404

原来是liveness probe(存活探针)报错，观察yaml文件：


  ……
  livenessProbe:
    failureThresho

			
		

	





	

		

			

				
					
Kubernetes--k8s---滚动更新--零停机不停服发布服务

				
			

			

				

					直到世界的尽头
				

				

					09-23
					
					9614
					
				

			

		

		

			
				
滚动更新的定义和目标
滚动更新的含义
一次只更新一小部分副本，成功后，再更新更多的副本，最终完成所有副本的更新。
滚动更新的好处
最大好处是零停机，整个更新过程始终有副本在运行，从而保证了业余的连续性。
根据 yaml 创建资源, apply 可以重复执行，create 不行
kubectl create -f deploy.yml
kubectl apply -f deploy.yml --re...

			
		

	





	

		

			

				
					
Spring Boot + K8S实现零宕机发布

				
			

			

				

					kangaroo的博客
				

				

					05-25
					
					905
					
				

			

		

		

			
				
K8s + SpringBoot实现零宕机发布：健康检查+滚动更新+优雅停机+弹性伸缩。

			
		

	





	

		

			

				
					
Kubernetes中的优雅关闭和零停机时间部署

				
			

			

				

					NewTyun的博客
				

				

					10-20
					
					234
					
				

			

		

		

			
				
新钛云服已累计为您分享771篇技术干货在Kubernetes中，创建和删除Pod是最常见的任务之一。当你执行滚动更新、扩展部署、发布新版本、执行作业和定时作业等操作时，都会创建Pod。但是，在Pod被驱逐后，例如将节点标记为不可调度时，Pod也会被删除并重新创建。如果这些Pod的性质是如此短暂，那么当一个Pod正在响应请求时，如果被告知关闭，会发生什么？在关闭之前，请求是否会完成？那么后续的请求呢...

			
		

	





	

		

			

				
					
403错误服务器未响应是什么意思,什么是HTTP ERROR 403？导致403错误的主要原因及解决方法...

					
热门推荐

				
			

			

				

					weixin_31486261的博客
				

				

					08-10
					
					6万+
					
				

			

		

		

			
				
一、什么是HTTP ERROR 403403 Forbidden 是HTTP协议中的一个状态码(Status Code)。可以简单的理解为没有权限访问此站，服务器受到请求但拒绝提供服务。二、HTTP 403 状态码解释大全403.1 -执行访问禁止。403.2 -读访问禁止。403.3 -写访问禁止。403.4要求SSL。403.5 - 128要求SSL。403.6 - IP地址被拒绝。403.7...

			
		

	





	

		

			

				
					
代理请求： Request failed with status code 404

				
			

			

				

					segegefe的博客
				

				

					02-23
					
					1万+
					
				

			

		

		

			
				
HTTP状态码—请求错误
400 Bad Request
1、语义有误，当前请求无法被服务器理解。除非进行修改，否则客户端不应该重复提交这个请求。
2、请求参数有误。
401 Unauthorized
当前请求需要用户验证。
402 Payment Required
该状态码是为了将来可能的需求而预留的。
403 Forbidden
服务器已经理解请求，但是拒绝执行它。
404 Not Found
请求失败，请求所希望得到的资源未被在服务器上发现
第一中可能：React中将你安装的proxy 或者是 cre

			
		

	





	

		

			

				
					
Kubernetes微服务常见概念及应用

				
			

			

				

					Snippers的博客
				

				

					07-15
					
					1126
					
				

			

		

		

			
				
Kubernetes微服务常见概念及应用

			
		

	





	

		

			

				
					
k8s技术交流，包括Pod概念和特点Pod种类Pod镜像拉取策略Pod重启策略Pod控制器Pod探针、Pod调度

				
			

			

				

					05-13
				

			

		

		

			
				
k8s技术交流，包括Pod概念和特点
Pod种类
Pod镜像拉取策略
Pod重启策略
Pod控制器
Pod探针
、Pod调度


			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值