[单master节点k8s部署]34.ingress 反向代理（一）

ingress是k8s中的标准API资源，作用是定义外部流量如何进入集群，并根据核心路由规则将流量转发到集群内的服务。

ingress和Istio工作栈中的virtual service都是基于service之上，更细致准确的一种流量规则。每一个pod对应的service是四层代理，也就是说处于通信网络结构的第四层（物理层、数据链路层、网络层、传输层、会话层、表示层、应用层）。service只根据tcp或udp协议，确定主机的位置，而不能确定到底传送到哪一个服务，这是http\https等七层的协议来处理的，这就是ingress 和 virtual service工作的场景。总的来说，ingress 是工作在service aip资源之上的。

Kubernetes 具有强大的副本控制能力，能保证在任意副本（Pod）挂掉时自动从其他机器启动一个新 的，还可以动态扩容等，通俗地说，这个 Pod 可能在任何时刻出现在任何节点上，也可能在任何时刻死 在任何节点上；那么自然随着 Pod 的创建和销毁，Pod IP 肯定会动态变化；那么如何把这个动态的 Pod IP 暴露出去？这里借助于 Kubernetes 的 Service 机制，Service 可以以标签的形式选定一组带有指定标签的 Pod，并监控和自动负载他们的 Pod IP，那么我们向外暴露只暴露 Service IP 就行了；这就是NodePort 模式：即在每个节点上开起一个端口，然后转发到内部 Pod IP 上。

但是只通过service来管理pod会存在端口难以维护的问题。服务一旦多起来，NodePort 在每个节点上开启的端口会及其庞大。这个时候可以通过nginx进行反向代理，也就是说所有服务进来以后都转发到nginx（nginx是一个反向代理服务器，可以看作是ingress的一种实现），这样由nginx pod进行流量转发就可以了。

从上面的方法，采用 Nginx-Pod 似乎已经解决了问题，但是其实这里面有一个很大缺陷：当每次有新服 务加入又该如何修改 Nginx 配置呢？我们知道使用 Nginx 可以通过虚拟主机域名进行区分不同的服务， 而每个服务通过 upstream 进行定义不同的负载均衡池，再加上 location 进行负载均衡的反向代理，在 日常使用中只需要修改 nginx.conf 即可实现，但是k8s集群需要进行自动管理，不能一直手动修改nginx-pod资源。这时就需要抽象出来ingress 资源，从而更好地让nginx工作。

ingress

Ingress 简单的理解就是你原来需要改 Nginx 配置，然后配置各种域名对应哪个 Service，现在把这个动作抽象出来，变成一个 Ingress 对象，你可以用 yaml 创建，每次不要去改 Nginx 了，直接改 yaml 然后创建/更新就行了。

但是ingress本身是一组基于 DNS 名称（host）或URL 路径把请求转发到指定的 Service 资源的规则。而没有完成将配置挂载到nginx的操作，这个操作是通过ingress controller实现的。

ingress controller

Ingress Controller 是一个七层负载均衡调度器，客户端的请求先到达这个七层负载均衡调度器，由七层 负载均衡器在反向代理到后端 pod，常见的七层负载均衡器有 nginx、traefik，以我们熟悉的 nginx 为 例，假如请求到达 nginx，会通过 upstream 反向代理到后端 pod 应用，但是后端 pod 的 ip 地址是一直在变化的，因此在后端 pod 前需要加一个 service，这个 service 只是起到分组的作用，那么我们 upstream 只需要填写 service 地址即可。

总结来讲，ingress controller是控制器，通过不断的和Kubernetes API交互，实时获取后端service、pod的变化，比如新增、删除等，结合ingress定义的规则生成配置，然后更新nginx或traefik的负载均衡器。

使用ingress controller代理k8s内部应用的流程

部署ingress controller

通过部署ingress-controller的pod和default-backend的pod，成功部署了ingress服务。其中default-backend作为一个默认的ingress controller的后端。

默认后端 是一个提供基础响应的服务，当没有任何 Ingress 规则与传入的请求匹配时，Ingress Controller 会将请求路由到这个默认后端。它通常用于处理以下情况：

• 404 响应：当用户请求的路径或主机名没有被任何定义的 Ingress 规则匹配时，默认后端会返回一个标准的 404 - Not Found 响应。
• 健康检查：默认后端通常也会提供一个健康检查接口（如 /healthz），供 Ingress Controller 或其他服务检查其健康状态。

这里的ingress controller通过args变量里的--default-backend-serivce参数，在没有ingress的情况下将流量转发给backend服务。

ingress controller代码 

可以看到ingress controller使用了两个探针，分别是就绪探针和存活探针。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-ingress-controller
  labels:
    k8s-app: nginx-ingress-controller
  namespace: kube-system
spec:
  replicas: 1
  selector:
    matchLabels:
       k8s-app: nginx-ingress-controller
  template:
    metadata:
      labels:
        k8s-app: nginx-ingress-controller
    spec:
      # hostNetwork makes it possible to use ipv6 and to preserve the source IP correctly regardless of docker configuration
      # however, it is not a hard dependency of the nginx-ingress-controller itself and it may cause issues if port 10254 already is taken on the host
      # that said, since hostPort is broken on CNI (https://github.com/kubernetes/kubernetes/issues/31307) we have to use hostNetwork where CNI is used
      # like with kubeadm
      # hostNetwork: true #注释表示不使用宿主机的80口，
      terminationGracePeriodSeconds: 60
      hostNetwork: true  #表示容器使用和宿主机一样的网络
      serviceAccountName: nginx-ingress-serviceaccount #引用前面创建的serviceacount
      containers:   
      - image: registry.cn-hangzhou.aliyuncs.com/peter1009/nginx-ingress-controller:0.20.0      #容器使用的镜像
        name: nginx-ingress-controller  #容器名
        readinessProbe:   #启动这个服务时要验证/healthz 端口10254会在运行的node上监听。 
          httpGet:
            path: /healthz
            port: 10254
            scheme: HTTP
        livenessProbe:
          httpGet:
            path: /healthz
            port: 10254
            scheme: HTTP
          initialDelaySeconds: 10  #每隔10做健康检查 
          timeoutSeconds: 1
        ports:
        - containerPort: 80  
          hostPort: 80    #80映射到80
#        - containerPort: 443
#          hostPort: 443
        env:
          - name: POD_NAME
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
        args:
        - /nginx-ingress-controller
        - --default-backend-service=$(POD_NAMESPACE)/default-http-backend
#        - --default-ssl-certificate=$(POD_NAMESPACE)/ingress-secret    #这是启用Https时用的
#      nodeSelector:  #指明运行在哪，此IP要和default backend是同一个IP
#        kubernetes.io/hostname: 10.3.1.17   #上面映射到了hostport80，确保此IP80，443没有占用.
# 
      nodeName: node1

这里的环境变量抓取了ingress controller运行的pod的名称和namespace的值。并且写明了是一个针对nginx的ingress controller。

default backend代码

这里定义了一个deployment和一个service。这里和上面ingress controller都将pod部署在node1

节点，这两个pod需要被部署在相同的节点。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: default-http-backend
  labels:
    k8s-app: default-http-backend
  namespace: kube-system
spec:
  replicas: 1
  selector:
   matchLabels:
     k8s-app: default-http-backend
  template:
    metadata:
      labels:
        k8s-app: default-http-backend
    spec:
      terminationGracePeriodSeconds: 60
      containers:
      - name: default-http-backend
        # Any image is permissable as long as:
        # 1. It serves a 404 page at /
        # 2. It serves 200 on a /healthz endpoint
        image: registry.cn-hangzhou.aliyuncs.com/hachikou/defaultbackend:1.0
        livenessProbe:
          httpGet:
            path: /healthz   #这个URI是 nginx-ingress-controller中nginx里配置好的localtion 
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 30   #30s检测一次/healthz
          timeoutSeconds: 5
        ports:
        - containerPort: 8080
#        resources:
#          limits:
#            cpu: 10m
#            memory: 20Mi
#          requests:
#            cpu: 10m
#            memory: 20Mi
      nodeName: node1
---
apiVersion: v1
kind: Service     #为default backend 创建一个service
metadata:
  name: default-http-backend
  namespace: kube-system
  labels:
    k8s-app: default-http-backend
spec:
  ports:
  - port: 80
    targetPort: 8080
  selector:
    k8s-app: default-http-backend

还需要配合rbac代码，这里不再列举。

不同的ingress controller

一个 Ingress Controller 实例通常对应一种特定的反向代理。例如，nginx-ingress-controller 仅支持 NGINX 作为反向代理，而 traefik-ingress-controller 只支持 Traefik。但你可以在同一个 Kubernetes 集群中运行多个不同类型的 Ingress Controller，每个控制器处理不同的 Ingress 资源或不同的域名。

nginx ingress controller 是k8s中最常使用的ingress controller。

traefik ingress controller是专门针对http/https的反向代理和负载均衡器，更适合微服务。

HAProxy Ingress Controller是基于 HAProxy 的ingress controller，Envoy Ingress Controller使用 Envoy 作为反向代理，通常在基于服务网格的架构中使用。