Kubernetes 安装配置ingress controller

> 对于Kubernetes的Service，无论是Cluster-Ip和NodePort均是四层的负载，集群内的服务如何实现七层的负载均衡，这就需要借助于Ingress，Ingress控制器的实现方式有很多，比如nginx, Contour, Haproxy, trafik, Istio。

几种常用的ingress功能对比和选型：https://www.kubernetes.org.cn/5948.html

实现逻辑

Ingress-nginx是7层的负载均衡器 ，负责统一管理外部对k8s cluster中Service的请求。主要包含：

• ingress-nginx-controller：根据用户编写的ingress规则（创建的ingress的yaml文件），动态的去更改nginx服务的配置文件，并且reload重载使其生效（是自动化的，通过lua脚本来实现）；
• Ingress资源对象：将Nginx的配置抽象成一个Ingress对象

1. ingress controller通过和kubernetes api交互，动态的去感知集群中ingress规则变化
2. 然后读取ingress规则(规则就是写明了哪个域名对应哪个service)，按照自定义的规则，生成一段nginx配置
3. 再写到nginx-ingress-controller的pod里，这个Ingress controller的pod里运行着一个Nginx服务，控制器把生成的nginx配置写入/etc/nginx/nginx.conf文件中
4. 然后reload一下使配置生效。以此达到域名分别配置和动态更新的问题。

安装

• 官方文档：https://kubernetes.github.io/ingress-nginx/deploy/
• 部署文档：https://github.com/kubernetes/ingress-nginx/blob/nginx-0.30.0/docs/deploy/index.md
• K8S Annotations文档： https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/#enable-cors

Support Versions

**官网地址：**https://github.com/kubernetes/ingress-nginx

Ingress-NGINX version	k8s supported version	Alpine Version	Nginx Version
v1.2.1	1.23, 1.22, 1.21, 1.20, 1.19	3.14.6	1.19.10†
v1.2.0	1.23, 1.22, 1.21, 1.20, 1.19	3.14.6	1.19.10†
v1.1.3	1.23, 1.22, 1.21, 1.20, 1.19	3.14.4	1.19.10†
v1.1.2	1.23, 1.22, 1.21, 1.20, 1.19	3.14.2	1.19.9†
v1.1.1	1.23, 1.22, 1.21, 1.20, 1.19	3.14.2	1.19.9†
v1.1.0	1.22, 1.21, 1.20, 1.19	3.14.2	1.19.9†
v1.0.5	1.22, 1.21, 1.20, 1.19	3.14.2	1.19.9†
v1.0.4	1.22, 1.21, 1.20, 1.19	3.14.2	1.19.9†
v1.0.3	1.22, 1.21, 1.20, 1.19	3.14.2	1.19.9†
v1.0.2	1.22, 1.21, 1.20, 1.19	3.14.2	1.19.9†
v1.0.1	1.22, 1.21, 1.20, 1.19	3.14.2	1.19.9†
v1.0.0	1.22, 1.21, 1.20, 1.19	3.13.5	1.20.1
v0.51.0	1.21, 1.20, 1.19	3.14.4	1.19.10†
v0.49.3	1.21, 1.20, 1.19	3.14.2	1.19.9†
v0.49.2	1.21, 1.20, 1.19	3.14.2	1.19.9†
v0.49.1	1.21, 1.20, 1.19	3.14.2	1.19.9†
v0.49.0	1.21, 1.20, 1.19	3.13.5	1.20.1
v0.48.1	1.21, 1.20, 1.19	3.13.5	1.20.1

Helm 部署（推荐）

部署文档：https://github.com/bitnami/charts/tree/master/bitnami/nginx-ingress-controller/#installing-the-chart

1. 安装helm

#Linux 直接运行curl 命令安装
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

2. 下载Chart

#下载Chart
git clone https://github.com/bitnami/charts.git
cd charts/bitnami/nginx-ingress-controller/

3. 配置Chart

#为安装ingress的node节点添加label
#高可用模式可以在多个node上打标签，host模式不会调度在同一个机器
kubectl label node k8s-master ingress=true
kubectl label node k8s-node01 ingress=true

#查询包含指定label（ingress=true）的node节点
kubectl get nodes --show-labels -l "ingress=true"

##配置Chart
$ vim values.yaml

81 ##NGINX 的自定义configmap配置选项
82 ##官方文档: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/
83 ##添加下面三行，获取客户端真实IP
84 #config: {}
85 config:
86   compute-full-forwarded-for: "true"
87   forwarded-for-header: "X-Forwarded-For"
88   use-forwarded-headers: "true"

##如果使用hostNetwork=true，设置reportNodeInternalIp=true，会将标志“report-node-internal-ip-address”传递给Nginx 入口控制器
104 reportNodeInternalIp: true

##配置控制器所需的 pod 数量
222 replicaCount: 2

##添加为host模式，启用主机网络，通过宿主机ip+port访问。
358 hostNetwork: true

##选择器，决定将ingress部署在哪些机器
402 #nodeSelector: {}
403 nodeSelector:
404   ingress: "true"

##禁用基于 NGINX 的默认后端
464 defaultBackend:
465   ## @param defaultBackend.enabled Enable a default backend based on NGINX
466   ##
467   enabled: false      ##设置为false

757 service:
758   ## @param service.type Kubernetes Service type for Controller
759   ##
760   #type: LoadBalancer
761   type: NodePort   ## 修改服务类型为 NodePort

4. 安装Chart

#添加chart仓库
helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo update
helm search repo bitnami

#安装Chart
helm upgrade --install -f values.yaml --timeout 20m --create-namespace --namespace nginx-ingress-controller k8s-nginx bitnami/nginx-ingress-controller --wait --wait-for-jobs --debug

查看发布版本列表

helm list -n nginx-ingress-controller

升级Chart

##因服务类型为 NodePort，需要--set replicaCount=1 将pod数量改为1，否则端口被占用
helm upgrade -f values.yaml --timeout 30m --namespace nginx-ingress-controller k8s-nginx bitnami/nginx-ingress-controller --atomic --wait --wait-for-jobs --debug --set image.tag='1.3.1-debian-11-r0' --set ingressClassResource.name="nginx-new" --set replicaCount=