k8s 对外服务之 Ingress

最新推荐文章于 2024-05-11 14:56:53 发布

唐十洪

最新推荐文章于 2024-05-11 14:56:53 发布

阅读量1.1k

点赞数 22

分类专栏：云Linux 文章标签： kubernetes 容器云原生

本文链接：https://blog.csdn.net/qq_53772682/article/details/136523518

版权

云Linux 专栏收录该内容

14 篇文章 0 订阅

订阅专栏

1 Ingress

1.1 Ingress 简介

service 的作用体现在两个方面：

对集群内部，它不断跟踪 pod 的变化，更新 endpoint 中对应 pod 的对象，提供了 ip 不断变化的 pod 的服务发现机制；
对集群外部，他类似负载均衡器，可以在集群内外部对 pod 进行访问。

在 Kubernetes 中，Pod 的 IP 地址和 service 的 ClusterIP 仅可以在集群网络内部使用，对于集群外的应用是不可见的。为了使外部的应用能够访问集群内的服务，Kubernetes 提供了以下几种方案：

NodePort：将 service 暴露在节点网络上，NodePort 背后就是 Kube-Proxy，Kube-Proxy是沟通 service 网络、Pod 网络和节点网络的桥梁。缺点：每个端口只能对应一种服务，而端口范围只能是 30000-32767，所以当服务数量过多时，端口的分配和管理会有很多问题。
LoadBalancer：通过设置 LoadBalancer 映射到云服务商提供的 LoadBalancer 地址。在service提交后，Kubernetes就会调用 CloudProvider 在公有云上为你创建一个负载均衡服务，并且把被代理的 Pod 的 IP 地址配置给负载均衡服务做后端。缺点：只能在公有云服务提供商的云平台上设置 Service。受限于云平台，且通常在云平台部署 LoadBalancer 还需要额外的费用。
externalIPs：service 允许为其分配外部 IP，如果外部 IP 路由到集群中一个或多个 Node 上，Service 会被暴露给这些 externalIPs。通过外部 IP 进入到集群的流量，将会被路由到 Service 的 Endpoint 上。
Ingress：只需一个或者少量的公网 IP 和 LB，即可同时将多个 HTTP 服务暴露到外网，基于七层反向代理。基于域名和 URL 路径，把用户的请求转发到一个或多个 service 的规则。

Ingress 组成

ingress：ingress是一个 API 对象，通过 yaml 文件来配置，ingress 的作用是定义请求转发到 service 的规则，可以理解为配置模板。ingress 通过 http 或 https 暴露集群内部 service，给 service 提供外部 URL、负载均衡、SSL/TLS 以及基于域名的反向代理。ingress要依靠 ingress-controller 来具体实现以上功能。
ingress-controller：当做反向代理或者说是转发器。ingress-controller 是具体实现反向代理及负载均衡的程序，对 ingress 定义的规则进行解析，根据配置的规则来实现请求转发。

通常 ingress-controller 的形式都是一个 pod，里面运行 daemon 程序和反向代理程序。daemon 负责不断监控集群的变化，根据 ingress 对象生成配置并应用新配置到反向代理，比如 ingress-nginx 就是动态生成 nginx 配置，动态更新 upstream，并在需要的时候 reload 程序应用新配置。

总结：ingress-controller 才是负责具体转发的组件，通过各种方式将它暴露在集群入口，外部对集群的请求流量会先到 ingress-controller，而 ingress 对象是用来告诉 ingress-controller 该如何转发请求，比如哪些域名、哪些 URL 要转发到哪些 service 等等。

1.3 Ingress 工作原理

ingress-controller 通过和 kubernetes APIServer 交互，动态感知到集群中 ingress 规则的变化
然后读取它，按照自定义的规则，生成一段nginx配置
接着 ingress-controller 控制器将新的 nginx 配置写入到 nginx-ingress-controller 的 pod 上的 /etc/nginx.conf 文件中
最后 reload 使配置生效。以此达到域名区分配置和动态更新的作用。

1.4 ingress 暴露服务的方式

Deployment + LoadBalancer 模式的 Service
如果要把 ingress 部署在公有云，这种方式比较合适。用 Deployment 部署 ingress-controller，创建一个 type 为 LoadBalancer 的 service 关联这组 pod。大部分公有云，都会为 LoadBalancer 的 service 自动创建一个负载均衡器，通常还绑定了公网地址。只要把域名解析指向该地址，就实现了集群服务的对外暴露
DaemonSet + HostNetwork + nodeSelector
用 DaemonSet 结合 nodeselector 来部署 ingress-controller 到特定的 node 上，然后使用 HostNetwork 直接把该 pod 与宿主机 node 的网络打通，直接使用宿主机的 80/433 端口就能访问服务。这时，ingress-controller 所在的 node 机器就很类似传统架构的边缘节点。该方式请求链路最简单，性能相对 NodePort 模式更好。缺点是由于直接利用宿主机节点的网络和端口，一个 node 只能部署一个 ingress-controller pod。比较适合大并发的生产环境使用。
Deployment + NodePort 模式的 Service
同样用 deployment 模式部署 ingress-controller，并创建对应的 service，但是 type 为 NodePort。这样，ingress 就会暴露在集群节点 ip 的特定端口上。由于 nodeport 暴露的端口是随机端口，一般会在前面再搭建一套负载均衡器来转发请求。该方式一般用于宿主机是相对固定的环境 ip 地址不变的场景。NodePort 方式暴露 ingress 虽然简单方便，但是 NodePort 多了一层 NAT，在请求量级很大时可能对性能会有一定影响。

1.5 部署 nginx-ingress-controller示例

1.5.1 DaemonSet + HostNetwork + nodeSelector

1.部署 ingress-controller pod 及相关资源
mkdir /opt/ingress
cd /opt/ingress
官方下载地址
 gitee下载地址
或者直接获取：

# 官方
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.25.0/deploy/static/mandatory.yaml
# gitee
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.25.0/deploy/static/mandatory.yaml

mandatory.yaml 文件中包含了 namespace、ConfigMap、role，ServiceAccount 等所有部署 ingress-controller 所需要的资源。

2.修改 ClusterRole 资源配置
vim mandatory.yaml
增加 networking.k8s.io Ingress 资源的 api
在这里插入图片描述
3.指定 nginx-ingress-controller 运行在 node02 节点
为 node02 添加标签
kubectl label node node02 ingress=true

4.修改 Deployment 为 DaemonSet ，指定节点运行，并开启 hostNetwork 网络
vim mandatory.yaml
在这里插入图片描述

5.在所有 node 节点上传 nginx-ingress-controller 镜像压缩包 ingree.contro.tar.gz 到 /opt/ingress 目录，并解压和加载镜像
cd /opt/ingress
tar zxvf ingree.contro.tar.gz
docker load -i ingree.contro.tar

6.启动 nginx-ingress-controller
kubectl apply -f mandatory.yaml
nginx-ingress-controller 将运行在 node02 节点
kubectl get pod -n ingress-nginx -o wide
在这里插入图片描述
kubectl get cm,daemonset -n ingress-nginx -o wide

到 node02 节点查看端口情况
netstat -lntp | grep nginx

由于配置了 hostnetwork，nginx 已经在 node 主机本地监听 80/443/8181 端口。其中 8181 是 nginx-controller 默认配置的一个 default backend（Ingress 资源没有匹配的对象时，流量就会被导向这个 default backend）。这样，只要访问 node 主机有公网 IP，就可以直接映射域名来对外网暴露服务了。如果要 nginx 高可用的话，可以在多个 node上部署，并在前面再搭建一套 LVS+keepalived 做负载均衡。

7.创建 ingress 规则
创建一个 deploy 和 svc
vim service-nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-app
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-app-svc
spec:
  type: ClusterIP
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
  selector:
    app: nginx

kubectl apply -f service-nginx.yaml
kubectl get deployments.apps,svc
在这里插入图片描述
创建 ingress

方法一：（extensions/v1beta1 Ingress 在1.22版本将弃用）
vim ingress-app.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-app-ingress
spec:
  rules:
  - host: www.kgc.com
    http:
      paths:
      - path: /
        backend:
          serviceName: nginx-app-svc
          servicePort: 80

方法二：
vim ingress-app.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-app-ingress
spec:
  rules:
  - host: www.kgc.com
    http:
      paths:
      - path: /
        pathType: Prefix     
        backend:
          service:
            name: nginx-app-svc
            port:
              number: 80

kubectl apply -f ingress-app.yaml

kubectl get pods
在这里插入图片描述
kubectl get ingress

8.测试访问
本地 host 添加域名解析
vim /etc/hosts
在这里插入图片描述
curl www.kgc.com

9.查看 nginx-ingress-controller
kubectl get pod -n ingress-nginx -o wide
在这里插入图片描述
kubectl exec -it -n ingress-nginx nginx-ingress-controller-6k2cw /bin/bash
more /etc/nginx/nginx.conf
可以看到从 start server www.kgc.com 到 end server www.kgc.com 之间包含了此域名用于反向代理的配置

1.5.2 Deployment + NodePort 模式的 Service

1.下载 nginx-ingress-controller 和 ingress-nginx 暴露端口配置文件
mkdir /opt/ingress-nodeport
cd /opt/ingress-nodeport

官方mandatory.yaml下载地址
 官方service-nodeport.yaml下载地址

wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml

gitee mandatory.yaml下载地址
 gitee service-nodeport.yaml下载地址

wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml

2.在所有 node 节点上传镜像包 ingress-controller-0.30.0.tar 到 /opt/ingress-nodeport 目录，并加载镜像
docker load -i ingress-controller-0.30.0.tar

3.启动 nginx-ingress-controller
kubectl apply -f mandatory.yaml
kubectl apply -f service-nodeport.yaml

如果K8S Pod 调度失败，在 kubectl describe pod 查看资源时显示：

Warning  FailedScheduling  18s (x2 over 18s)  default-scheduler  0/2 nodes are available: 2 node(s) didn't match node selector

解决方案：

如果对节点有要求，给需要调度的node加上对应标签。比如上面这个 yaml 文件的例子：
kubectl label nodes node01 kubernetes.io/os=linux
删除 yaml 文件中的 nodeSelector：如果对节点没有要求的话，直接删除节点选择器即可

kubectl get pod,svc -n ingress-nginx
在这里插入图片描述

1.6 补充示例

1.6.1 Ingress HTTP 代理访问

cd /opt/ingress-nodeport
创建 deployment、Service、Ingress Yaml 资源
vim ingress-nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-app
spec:
  replicas: 2
  selector:
    matchLabels:
      name: nginx
  template:
    metadata:
      labels:
        name: nginx
    spec:
      containers:
        - name: nginx
          image: nginx
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-test
spec:
  rules:
  - host: www.benet.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service: 
            name: nginx-svc
            port:
              number: 80

kubectl apply -f ingress-nginx.yaml

kubectl get svc,pods -o wide
在这里插入图片描述
kubectl exec -it nginx-app-57dd86f5cc-6k2cw bash
cd /usr/share/nginx/html/
echo “this is dzd” > index.html

kubectl exec -it nginx-app-57dd86f5cc-x85qc bash
cd /usr/share/nginx/html/
echo ‘this is tsh’ > index.html

测试访问
curl 10.244.2.5
curl 10.244.2.4
在这里插入图片描述
kubectl get svc -n ingress-nginx

本地 host 添加域名解析
vim /etc/hosts

外部访问
curl http://www.dzd.com:30602

1.6.2 Ingress HTTP 代理访问虚拟主机

mkdir /opt/ingress-nodeport/vhost
cd /opt/ingress-nodeport/vhost
创建虚拟主机1资源
vim deployment1.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deployment1
spec:
  replicas: 2
  selector:
    matchLabels:
      name: nginx1
  template:
    metadata:
      labels:
        name: nginx1
    spec:
      containers:
        - name: nginx1
          image: soscscs/myapp:v1
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: svc-1
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx1

kubectl apply -f deployment1.yaml

创建虚拟主机2资源
vim deployment2.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deployment2
spec:
  replicas: 2
  selector:
    matchLabels:
      name: nginx2
  template:
    metadata:
      labels:
        name: nginx2
    spec:
      containers:
        - name: nginx2
          image: soscscs/myapp:v2
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: svc-2
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx2

kubectl apply -f deployment2.yaml

创建ingress资源
vim ingress-nginx.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress1
spec:
  rules:
    - host: www1.kgc.com
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service: 
              name: svc-1
              port:
                number: 80
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress2
spec:
  rules:
    - host: www2.kgc.com
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service: 
              name: svc-2
              port:
                number: 80

kubectl apply -f ingress-nginx.yaml

测试访问
kubectl get svc -n ingress-nginx
在这里插入图片描述
添加主机映射
vim /etc/hosts

curl www1.dzd.com:30602

curl www2.dzd.com:30602

1.6.3 Ingress HTTPS 代理访问

mkdir /opt/ingress-nodeport/https
cd /opt/ingress-nodeport/https
创建ssl证书
openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj “/CN=nginxsvc/O=nginxsvc”
创建 secret 资源进行存储
kubectl create secret tls tls-secret --key tls.key --cert tls.crt

kubectl get secret
在这里插入图片描述
kubectl describe secret tls-secret

创建 deployment、Service、Ingress Yaml 资源
vim ingress-https.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-app
spec:
  replicas: 2
  selector:
    matchLabels:
      name: nginx
  template:
    metadata:
      labels:
        name: nginx
    spec:
      containers:
        - name: nginx
          image: nginx
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-https
spec:
  tls:
    - hosts:
      - www3.kgc.com
      secretName: tls-secret
  rules:
    - host: www3.kgc.com
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service: 
              name: nginx-svc
              port:
                number: 80

kubectl apply -f ingress-https.yaml

kubectl get svc -n ingress-nginx
在这里插入图片描述

访问测试
在宿主机的 C:\Windows\System32\drivers\etc\hosts 文件中添加 192.168.188.14 www3.dzd.com 记录
使用浏览器访问：https://www3.dzd.com:30602

1.6.4 Nginx 进行 BasicAuth

mkdir /opt/ingress-nodeport/basic-auth
cd　/opt/ingress-nodeport/basic-auth
生成用户密码认证文件，创建 secret 资源进行存储
yum -y install httpd
htpasswd -c auth zhangsan #认证文件名必须为 auth
kubectl create secret generic basic-auth --from-file=auth
创建 ingress 资源
vim ingress-auth.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-auth
  annotations:
    #设置认证类型basic
    nginx.ingress.kubernetes.io/auth-type: basic
	#设置secret资源名称basic-auth
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
	#设置认证窗口提示信息
    nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required - zhangsan'
spec:
  rules:
  - host: auth.kgc.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service: 
            name: nginx-svc
            port:
              number: 80

具体详细设置方法可参考官网
kubectl apply -f ingress-auth.yaml
访问测试
kubectl get svc -n ingress-nginx
在这里插入图片描述
echo ‘192.168.10.19 auth.dzd.com’ >> /etc/hosts

浏览器访问：http://auth.dzd.com:30602
在这里插入图片描述

1.6.5 Nginx 进行重写

metadata.annotations 配置说明

nginx.ingress.kubernetes.io/rewrite-target: <字符串>：#必须重定向流量的目标 URI
nginx.ingress.kubernetes.io/ssl-redirect: <布尔值>：#指示位置部分是否仅可访问 SSL (当 Ingress 包含证书时，默认为 true)
nginx.ingress.kubernetes.io/force-ssl-redirec:<布尔值>： #即使 Ingress 未启用 TLS，也强制重定向到 HTTPS
nginx.ingress.kubernetes.io/app-root: <字符串>：#定义 Controller 必须重定向的应用程序根，如果它在’/'上下文中
nginx.ingress.kubernetes.io/use-regex: <布尔值>：#指示 Ingress 上定义的路径是否使用正则表达式

vim ingress-rewrite.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-rewrite
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: http://www1.kgc.com:32383
spec:
  rules:
  - host: re.kgc.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
		  #由于re.kgc.com只是用于跳转不需要真实站点存在，因此svc资源名称可随意定义
          service: 
            name: nginx-svc
            port:
              number: 80

kubectl apply -f ingress-rewrite.yaml

echo ‘192.168.188.14 re.dzd.com’ >> /etc/hosts
浏览器访问：http://re.dzd.com:30602
在这里插入图片描述