服务发布Ingress进阶

        Kubernetes暴露服务的方式目前有三种:LoadBlancer Service,Nodeport Service,Ingress,通俗来讲,Ingress和之前的提到的Service和Deployment,也是一个k8s的资源类型,Ingress用于实现用域名的方式访问k8s内部应用。

        Ingress为Kubernetes集群中的服务提供了入口,可以提供负载均衡,SSL终止和基于名称的虚拟主机,在生产环境中常用的Ingress有Treafik,Nginx,Haproxy,Lstio等。

一.基本概念

        Service的作用体现在两个方面,对集群内部,它不断跟踪pod的变化,更新endpoint(端点:pod的IP地址和容器的端口号)中对应pod的对象,提供了ip不断变化的pod的服务发现机制;对集群外部,他类似负载均衡器,可以在集群内外部对pod进行访问。

        在Kubernetes中,Pod的IP地址和service的ClusterIP类型仅可以在集群网络内部使用,对于集群外的应用是不可见的。为了使外部的应用能够访问集群内的服务,Kubernetes目前提供了以下几种方案:

  • NodePort:将service暴露在节点网络上,NodePort背后就是Kube-Proxy,Kube-Proxy是沟通service网络、Pod网络和节点网络的桥梁。
    测试环境使用还行,当有几十上百的服务在集群中运行时,NodePort的端口管理就是个灾难。因为每个端口只能是一种服务,端口范围只能是 30000-32767。

  • LoadBalancer:通过设置LoadBalancer映射到云服务商提供的LoadBalancer地址。这种用法仅用于在公有云服务提供商的云平台上设置 Service 的场景。受限于云平台,且通常在云平台部署LoadBalancer还需要额外的费用。在service提交后,Kubernetes就会调用CloudProvider在公有云上为你创建一个负载均衡服务,并且把被代理的Pod的IP地址配置给负载均衡服务做后端。

  • externalIPs:service允许为其分配外部IP,如果外部IP路由到集群中一个或多个Node上,Service会被暴露给这些externalIPs。通过外部IP进入到集群的流量,将会被路由到Service的Endpoint上。

  • Ingress:只需一个或者少量的公网IP和LB,即可同时将多个HTTP服务暴露到外网,七层反向代理。可以简单理解为service的service,它其实就是一组基于域名和URL路径,把用户的请求转发到一个或多个service的规则。

注意:

目前比较流行的IngressController有ingress-nginx( 由Kubemetes官方维护)、 nginx-ingress(由Nginx官方维护,注意和Ingress-nginx的区别)、Traefik、Istio等。

 二.Ingress组成

1.Ingress

        Ingress是一个API对象,通过yaml文件来配置,Ingress对象的作用是定义请求如何转发到Service的规则,可以理解为配置模版

        Ingress通过http货https暴露集群内部Service,给Service提供外部URL,负载均衡,SSL/TLS能力以及基于域名的反向代理。Ingress要依靠Ingress-Controller来具体实现以上功能。

2.Ingress-Controller

        Ingress-Controller是具体实现反向代理及负载均衡的程序,对Ingress定义的规则进行解析,根据配置的规则来实现请求转发。

        Ingress-Controller并不是k8s自带的组件,实际上Ingress-Controller 只是一个统称,用户可以选择不同的Ingress-Controller实现,如:GCE,Ingress-nginx等。

        一般来说,ingress-controller的形式都是一个pod,里面跑着daemon程序和反向代理程序。daemon负责不断监控集群的变化,根据 ingress对象生成配置并应用新配置到反向代理,比如ingress-nginx就是动态生成nginx配置,动态更新upstream,并在需要的时候reload程序应用新配置。

        ingress-controller才是负责具体转发的组件,通过各种方式将它暴露在集群入口,外部对集群的请求流量会先到 ingress-controller, 而ingress对象是用来告诉ingress-controller该如何转发请求,比如哪些域名、哪些URL要转发到哪些service等等。

二.Ingress工作流程

 用户访问一个业务的流程如下:

  1. 用户在浏览器上输入域名
  2. 域名解析至业务的入口IP(一般为外部负责负载均衡器,比如阿里的SLB或者DMZ的网关)
  3. 外部负载均衡器反向代理至Kubernetes的入口(一般为Ingress,或者通过Nodeport暴露的服务等)
  4. Ingress根据自身的配置规则找到对应的Service,在代理到对应的service上。
  5. 最后到达service对应的某个pod中

 三.Ingress工作原理

  1.  Ingress-Controller通过和Kubernetes APIservice交互,动态的去感知集群中Ingress规则变化
  2. 然后读取它,按照自定义的规则(规则就是写明了那个域名对应那个service),生成一端Nginx配置
  3. 再写到nginx-ingress-Controller的pod里,这个Ingress-Controller的pod里运行着一个Nginx服务,控制器会把生成的Nginx配置写入/etc/nginx.conf文件中
  4. 然后reload一下使用配置生效,以此到达域名区分配置和动态更新的作用。
  5. 四.安装Ingress Nginx Controller

    1.         由于Ingress Controller相当于kubernetes集群中服务的“大门”因此在生产环境中,一定要保障Controller的稳定性和可用性。为了提Ingress Controller的可用性我们一般采用单独的服务器作为Controller节点以此保障Ingress Controller的Pod资源不会被其他服务的Pod影响

1.下载并安装helm(已有可以忽略) 

(1)可以通过此命令查看,如果有版本信息则表名环境中已经安装了helm

[root@k8s-master ~]# helm version
version.BuildInfo{Version:"v3.9.4", GitCommit:"dbc6d8e20fe1d58d50e6ed30f09a04a77e4c68db", GitTreeState:"clean", GoVersion:"go1.17.13"}

(2)在线下载

[root@k8s-master ~]# wget https://get.helm.sh/helm-v3.9.4-linux-amd64.tar.gz

 (3)安装helm

[root@k8s-master ~]# tar zxvf helm-v3.9.4-linux-amd64.tar.gz 
[root@k8s-master ~]# mv linux-amd64/helm /usr/local/bin/

备注:因为在线下载的为二进制的软件包,为解压即可用,所以无需其他安装步骤,将解压目录下的可执行文件移到/usr/local/bin/使其可以再任何位置使用helm。

2.下载并修改 Ingress Controller参数(已有离线包可以忽略此步骤)

[root@k8s-master ~]# helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx

"ingress-nginx" has been added to your repositories

[root@k8s-master ~]# helm repo update
Hang tight while we grab the latest from your chart repositories...
...Successfully got an update from the "ingress-nginx" chart repository
Update Complete. ⎈Happy Helming!⎈

[root@k8s-master ~]# helm pull ingress-nginx/ingress-nginx --version 4.7.1
[root@k8s-master ~]# tar xvf ingress-nginx-4.7.1.tgz 

(1)将Controller的registry仓库地址修改为国内的

[root@k8s-master ~]# vim ingress-nginx/values.yaml 

controller:
    name: controller
    image:
        chroot: false
        registry: registry.cn-hangzhou.aliyuncs.com
        image: tanzu/controller
        tag: "v1.6.4"
        #digest: sha256:15be4666c53052484dd2992efacf2f50ea77a78ae8aa21ccd91af6baaa7ea22f
        #digestChroot: sha256:0de01e2c316c3ca7847ca13b32d077af7910d07f21a4a82f81061839764f8f81

 (2)修改opentelemetry镜像地址

  opentelemetry:
    enabled: false
    image: registry.cn-hangzhou.aliyuncs.com/tanzu/opentelemetry:v20230107
    containerSecurityContext:
      allowPrivilegeEscalation: false

(3)将admissionWebhook的镜像地址修改为国内的

    patchWebhookJob:
      securityContext:
        allowPrivilegeEscalation: false
      resources: {}
    patch:
      enabled: true
      image:
        registry: registry.cn-hangzhou.aliyuncs.com
        image: tanzu/kube-webhook-certgen
        tag: v20220916-gd32f8c343
        #digest: sha256:543c40fd093964bc9ab509d3e791f9989963021f1e9e4c9c7b6700b02bfb227b
        pullPolicy: IfNotPresent

(4)修改hostNetwork的值为true

设置为true时,该Pod将与其所在节点共享网络命名空间(默认为true)。

  # -- Optionally change this to ClusterFirstWithHostNet in case you have 'hostNetwork: true'.

(5)dnsPolicy设置为ClusterFirstWithHostNet

kubernetes可以在pod级别通过 dnspolicy字段设置DNS策略。目前支持的DNS策略如下:

  • Default: 继承pod所在宿主机的域名解析设置。
  • ClusterFirst: 将优先使用kubernetes环境的dns服务(如coreDNS提供的域名解析服务),将无法解析的域名转发到系统配置的上游DNS服务器。
  • ClusterFirstWithHostNet: 适用与以hostNetwork模式运行的pod。
  • None: 忽略集群的DNS配置,需要手工通过dnsConfig自定义DNS配置。这个选项在1.9版本中开始引入,到1.10版本时升级为Beta,到1.14版本时达到稳定版本。

 (6)nodeSelector添加ingress: “true”

  nodeSelector:
    ingress: true
kubernetes.io/os: linux

备注:此配置能够将ingress安装在带有“ingress: true”标签的节点上。

(7) 修改kind类型为DeamonSet

kind: DeamonSet

注意:如果已经下载好了离线的helm和ingress-nginx,可以直接解压并安装,不必下载。

3.部署  Ingress

(1)给需要部署Ingress Controller的节点打标签

[root@k8s-master ~]# kubectl label node k8s-node01 ingress=true

(2)创建命名空间 

[root@k8s-master ~]# kubectl create ns ingress-nginx
namespace/ingress-nginx created

 (3)安装ingress-nginx

# 安装

[root@k8s-master ~]# cd ingress-nginx

[root@k8s-master ~]# helm install ingress-nginx -n ingress-nginx .

备注: 注意最后有一个点,第一个ingress-Nginx是指定安装ingress-Controller为ngress-Nginx

# 卸载(不必要)

helm uninstall ingress-nginx -n ingress-nginx

 # 查看安装信息

[root@k8s-master ~]# kubectl get po -n ingress-nginx -o wide
NAME                             READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATES
ingress-nginx-controller-2t6qh   1/1     Running   0          17s   192.168.10.102   k8s-node01   <none>           <none>

三.ingress Nginx入门

        首先从最简单的配置开始,假如公司有一个web服务的容器,需要为其添加一个域名,此时可以使用Ingerss实现该功能。

1.创建一个用于学习的命名空间

[root@k8s-master ~]# kubectl create ns study-ingress

2.创建一个nginx作为web服务

[root@k8s-master ~]# kubectl create deployment nginx --image=nginx:1.7.9 -n study-ingress

3.创建一个该服务的service

[root@k8s-master ~]# kubectl expose deployment nginx --port 80 -n study-ingress

 4.创建ingress指向上一步的service

[root@k8s-master ~]# vim web-ingress.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-ingress
  namespace: study-ingress
spec:
  ingressClassName: nginx
  rules:
  - host: nginx.test.com
    http:
      paths:
      - backend:
          service:
            name: nginx
            port:
              number: 80
        path: /
        pathType: ImplementationSpecific

备注:

路径类型

有3种支持的path类型:

  • ImplementationSpecific:对于这种path类型,匹配取决于IngressClass。可以将其视为一个单独的pathType或者将其认为和Prefix或者Exact路径类型一样。
  • Exact:精确匹配URL路径,并且区分大小写
  • Prefix: 根据URL中的,被/分割的前缀进行匹配。匹配区分大小写并且按照元素对路径进行匹配。path元素指的是路径中由/分隔符分隔的标签列表。
  • 注意:如果路径的最后一个元素是请求路径中最后一个元素的子字符串,那么这个是不匹配的。【举例:/foo/bar匹配/foo/bar/baz,但是不匹配/foo/barbaz

5.创建该ingress

[root@k8s-master ~]# kubectl create -f web-ingress.yaml 

注意:

不要删除此ingress,否则,后面的ssl无法访问

 6.客户端访问测试

        创建的Ingress绑定的域名为nginx.test.com,由于本书的IngressController是以hostNetwork模式部署的,因此将域名解析至IngressController所在的节点即可。如果IngressController上层还有一层网关,解析至网关IP即可。接下来通过域名nginx.test.com即可访问Web服务器。

四. Ingress Nginx域名重定向Redirect

        当一个服务需要更换域名时,并不能对其直接更改,需要一个过渡的过程。在这个过程中,需要将旧域名的访问跳转到新域名,此时可以使用Redircet功能,待旧域名无法访问时,再停止旧域名。

        在nginx作为代理服务器时,Redirect可用于域名的重定向,比如访问old.com被重定向到new.com 。Ingress可以更简单地实现Redirect功能。接下来用nginx.redirect.com作为旧域名,baidu.com作为新域名进行演示。

1.编辑Ingress文件

[root@k8s-master ~]# vim redirect.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/permanent-redirect: https://www.baidu.com
  name: nginx-redirect
  namespace: study-ingress
spec:
  ingressClassName: nginx
  rules:
  - host: nginx.redirect.com
    http:
      paths:
      - backend:
          service:
            name: nginx
            port:
              number: 80
        path: /
        pathType: ImplementationSpecific

2.创建Ingress

[root@k8s-master ~]# kubectl create -f redirect.yaml

3.测试

        在客户端的hosts文件添加域名nginx.redirect.com,IP地址为k8s-node01节点的IP地址。使用域名nginx.redirect.com访问网站,打开的是baidu,com,说明跳转成功。

五.Ingress Nginx前后端分离Rewrite

        现在大部分应用都是前后端分离的架构,也就是前端用某个域名的根路径进行访问,后端接口采用/api进行访问,用来区分前端和后端。或者同时具有很多个后端,需要使用/api-a到A服务,/api-b到B服务,但是由于A和B服务可能并没有/api-a和/api-b的路径,因此需要将/api-x重写为“/”,才可以正常到A或者B服务,否则将会出现404的报错。此时可以通过Rewrite功能达到这种效果。

1.创建一个应用模拟后端服务

[root@k8s-master ~]# kubectl create deployment backend-api --image=nginx:1.7.9 -n study-ingress
deployment.apps/backend-api created

2.创建service暴露应用

[root@k8s-master ~]# kubectl expose deployment backend-api --port 80 -n study-ingress
service/backend-api exposed

3.查看该Service的地址,并通过/api-a访问测试

[root@k8s-master ~]# kubectl get svc -n study-ingress
NAME          TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
backend-api   ClusterIP   10.108.73.91   <none>        80/TCP    41s
nginx         ClusterIP   10.101.18.65   <none>        80/TCP    61m

http://nginx.test.com/api-a

 

4.编辑Ingress,实现rewrite

[root@k8s-master ~]# vim rewirte.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /$2
  name: backend-api
  namespace: study-ingress
spec:
  ingressClassName: nginx
  rules:
  - host: nginx.test.com
    http:
      paths:
      - backend:
          service:
            name: backend-api
            port:
              number: 80
        path: /api-a(/|$)(.*)
        pathType: ImplementationSpecific

5.创建该Ingress

[root@k8s-master ~]# kubectl create -f rewirte.yaml
ingress.networking.k8s.io/backend-api created

6.访问测试

http://nginx.test.com/api-a

六.Ingress Nginx SSL配置

        生产环境对外的服务一般需要配置HTTPS协议使用Ingress也可以非常方便地添加HTTPS的证书。由于是学习环境,并没有权威证书因此需要使用OpenSSL生成个测试证书(如果是生产环那么证书为在第三方公司购买的证书无须自行生成)

1.生成证书

[root@k8s-master ~]# openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=nginx.test.com"

Generating a 2048 bit RSA private key
.....................................+++
........................+++
writing new private key to 'tls.key'
-----

2.创建证书的secret(存储敏感数据)

[root@k8s-master ~]# kubectl create secret tls ca-secret \
--cert=tls.crt \
--key=tls.key \
-n study-ingress

3.编辑Ingress

[root@k8s-master ~]# vim ingress-ssl.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  creationTimestamp: null
  name: nginx-ingress-ssl
spec:
  ingressClassName: nginx-ssl
  rules:
  - host: nginx.test.com
    http:
      paths:
      - backend:
          service:
            name: nginx
            port:
              number: 80
        path: /
        pathType: ImplementationSpecific
  tls:
  - hosts:		##证书授权的域名列表
    - nginx.test.com
    secretName: ca-secret		##证书的secret名字

4.创建此Ingress

[root@k8s-master ~]# kubectl create -f ingress-ssl.yaml

5.访问测试

https://nginx.test.com

七.Ingress Nginx基本认证

        有些网站可能需要通过密码来访问,对于这类网站可以使用nginx的basic-auth设置密码访问,具体方法如下由于需要使用htpasswd工具因此需要安装httpd。

1.安装httpd(httpd-tools)

[root@k8s-master ~]# yum -y install httpd

2.使用htpasswd创建用户

[root@k8s-master ~]# htpasswd -c auth zhangsan
New password: 
Re-type new password: 
Adding password for user zhangsan

3.基于之前创建的密码文件创建secret

[root@k8s-master ~]# kubectl create secret generic basic-auth \
--from-file=auth  \
-n study-ingress

4.编辑Ingress,包含密码认证

[root@k8s-master ~]# vim ingress-with-auth.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/auth-realm: Please Input Your Username and Password
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
    nginx.ingress.kubernetes.io/auth-type: basic
  name: ingress-with-auth
  namespace: study-ingress
spec:
  ingressClassName: nginx
  rules:
  - host: auth.test.com
    http:
      paths:
      - backend:
          service:
            name: nginx
            port:
              number: 80
        path: /
        pathType: ImplementationSpecific 

备注:

        nginx.ingress.kubernetes.io/auth-secret: auth   密码文件的secret名称

        nginx.ingress.kubernetes.io/auth-type: basic   认证类型

        host: auth.test.com 客户端要访问的域名,注意不要使用前面的域名,或者把前面的ingress都删掉

5.部署此Ingress

[root@k8s-master ~]# kubectl create -f ingress-with-auth.yaml

6.访问测试

在客户端添加域名auth.test.com的解析(Ingress-com)

  • 11
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值