k8s ingress高级用法一

魏志标

已于 2023-11-17 16:24:20 修改

阅读量2.5k

点赞数 1

分类专栏： k8s 文章标签： k8s

于 2023-11-17 15:58:06 首次发布

本文链接：https://blog.csdn.net/weixin_40579389/article/details/134464090

版权

k8s 专栏收录该内容

47 篇文章 14 订阅

订阅专栏

前面的文章中，我们讲述了ingress的基础应用，接下来继续讲解ingress的一些高级用法

一、ingress限流

在实际的生产环境中，有时间我们需要对服务进行限流，避免单位时间内访问次数过多，常用的一些限流的参数如下：

nginx.ingress.kubernetes.io/limit-connections

单个IP地址允许的并发连接数。超出此限制时，将返回503错误。

nginx.ingress.kubernetes.io/limit-rps

某个IP每秒钟接受的请求数。默认乘数为5。和ingress中这个参数有关nginx.ingress.kubernetes.io/limit-burst-multiplier，默认值为5，可以修改此值的大小与限速配合使用。当客户端超过此限制时，将返回limit-req-status-code默认值： 503。

nginx.ingress.kubernetes.io/limit-rpm

某个IP每分钟接受的请求数。默认乘数为5。和ingress中这个参数有关nginx.ingress.kubernetes.io/limit-burst-multiplier，默认值为5，可以修改此值的大小与限速配合使用。当客户端超过此限制时，将返回limit-req-status-code默认值： 503。

nginx.ingress.kubernetes.io/limit-rate

每秒允许发送到给定连接的千字节数。零值禁用速率限制。必须在启用代理缓冲的情况下使用此功能。

nginx.ingress.kubernetes.io/limit-whitelist

从速率限制中排除的源IP范围。该值是逗号分隔的CIDR列表，如下：
annotations:
     ingress.kubernetes.io/whitelist-source-range: "10.1.0.0/24,172.10.0.1"

我们使用其中一个进行测试，如下：

测试nginx.ingress.kubernetes.io/limit-rps  
1：编写yaml文件，如下：
[root@node1 yaml]# cat ingress.yaml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:                                
    nginx.ingress.kubernetes.io/limit-rps: "1"
  name: ingress-test
spec:
  ingressClassName: nginx
  rules:
  - host: "nginx.test.com"
    http:
      paths:
      - path: "/"
        pathType: Prefix
        backend:
          service:
            name: nginx-svc
            port:
              number: 80
  - host: "tomcat.test.com"
    http:
      paths:
      - path: "/"
        pathType: Prefix
        backend:
          service:
            name: tomcat-svc
            port:
              number: 8080


2：创建ingress如下：deployment已经提前创建好了
[root@node1 yaml]# kubectl apply -f  ingress.yaml 
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# kubectl get  ing
NAME           CLASS   HOSTS                            ADDRESS   PORTS   AGE
ingress-test   nginx   nginx.test.com,tomcat.test.com             80      2s
[root@node1 yaml]# kubectl get  ing
NAME           CLASS   HOSTS                            ADDRESS        PORTS   AGE
ingress-test   nginx   nginx.test.com,tomcat.test.com   192.168.5.79   80      37s


3：访问ingress有两种方式
<1>： 部署ingress-controller的时候，使用的是host-network模式，ingress-controller又起在了node上，所有可以直接使用node1的地址+80端口
<2>:查看ingress的svc 端口，使用端口的方式访问，如下：
[root@node1 yaml]# kubectl get  svc -n ingress-nginx
NAME                                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             NodePort    10.233.51.155   <none>        80:31122/TCP,443:30795/TCP   6d21h
ingress-nginx-controller-admission   ClusterIP   10.233.38.9     <none>        443/TCP                      6d21h
[root@node1 yaml]#

浏览器访问nginx，如下：
在这里插入图片描述
多刷新几次，因为默认要乘以5，返回默认的错误代码，如下：

二、ingress rewrite

URL重写（URL rewriting）是一种在Web服务器上修改或转换请求URL的过程。它通常涉及使用服务器配置或规则来更改传入的URL，以便在不改变实际请求资源的情况下，实现不同的行为，如重定向、路径映射、参数处理等。在客户端不会感知这些更改。在Nginx、Apache等常见的Web服务器中，URL重写可以通过正则表达式、规则匹配等方式来实现。URL 重写可以用于以下几种场景

重定向

将一个URL重写为另一个URL，实现301永久重定向或302临时重定向。

路径映射

将一个URL的路径映射到另一个位置，这对于隐藏实际文件路径或路径重组很有用。

查询参数处理

在URL中添加、删除或修改查询参数，以适应不同的应用需求。

动态URL到静态URL

将动态生成的URL（带有参数）转化为静态URL，更友好且易于索引。

隐藏技术细节

可以通过URL重写隐藏后端服务器或应用程序的实际技术细节，提高安全性.

一些内置变量如下：

变量名           定义
$arg_PARAMETER  GET请求中变量名PARAMETER参数的值。
$args   这个变量等于GET请求中的参数。例如，foo=123&bar=blahblah;这个变量只可以被修改
$binary_remote_addr 二进制码形式的客户端地址。
$body_bytes_sent    传送页面的字节数
$content_length 请求头中的Content-length字段。
$content_type   请求头中的Content-Type字段。
$cookie_COOKIE  cookie COOKIE的值。
$document_root  当前请求在root指令中指定的值。
$document_uri   与$uri相同。
$host   请求中的主机头(Host)字段，如果请求中的主机头不可用或者空，则为处理请求的server名称(处理请求的server的server_name指令的值)。值为小写，不包含端口。
$hostname   机器名使用 gethostname系统调用的值
$http_HEADER    HTTP请求头中的内容，HEADER为HTTP请求中的内容转为小写，-变为_(破折号变为下划线)，例如：$http_user_agent(Uaer-Agent的值);
$http_user_agent ： 客户端agent信息;
$http_cookie ： 客户端cookie信息;
$sent_http_HEADER   HTTP响应头中的内容，HEADER为HTTP响应中的内容转为小写，-变为_(破折号变为下划线)，例如： $sent_http_cache_control, $sent_http_content_type…;
$is_args    如果$args设置，值为"?"，否则为""。
$limit_rate 这个变量可以限制连接速率。
$nginx_version  当前运行的nginx版本号。
$query_string   与$args相同。
$remote_addr    客户端的IP地址。
$remote_port    客户端的端口。
$remote_user    已经经过Auth Basic Module验证的用户名。
$request_filename   当前连接请求的文件路径，由root或alias指令与URI请求生成。
$request_body   这个变量（0.7.58+）包含请求的主要信息。在使用proxy_pass或fastcgi_pass指令的location中比较有意义。
$request_body_file  客户端请求主体信息的临时文件名。
$request_completion 如果请求成功，设为"OK"；如果请求未完成或者不是一系列请求中最后一部分则设为空。
$request_method 这个变量是客户端请求的动作，通常为GET或POST。包括0.8.20及之前的版本中，这个变量总为main request中的动作，如果当前请求是一个子请求，并不使用这个当前请求的动作。
$request_uri    这个变量等于包含一些客户端请求参数的原始URI，它无法修改，请查看$uri更改或重写URI,
包含请求参数的原始URI，不包含主机名，如：”/foo/bar.php?arg=baz”。
$scheme 所用的协议，比如http或者是https，比如rewrite ^(.+)$ $scheme://example.com$1 redirect;
$server_addr    服务器地址，在完成一次系统调用后可以确定这个值，如果要绕开系统调用，则必须在listen中指定地址并且使用bind参数。
$server_name    服务器名称。
$server_port    请求到达服务器的端口号。
$server_protocol    请求使用的协议，通常是HTTP/1.0或HTTP/1.1。
$uri    请求中的当前URI(不带请求参数，参数位于args)，不同于浏览器传递的args)，不同于浏览器传递的args)，不同于浏览器传递的request_uri的值，它可以通过内部重定向，或者使用index指令进行修改。uri不包含主机名，如”/foo/bar.html”。

ingress正则表达式匹配

正则表达式匹配，其中：
~       为区分大小写匹配
~*      为不区分大小写匹配
!~和!~*  分别为区分大小写不匹配及不区分大小写不匹配
.      匹配除换行符以外的任意字符
\w     匹配字母或数字或下划线或汉字
\s     匹配任意的空白符
\d     匹配数字
\b     匹配单词的开始或结束
^      匹配字符串的开始
$      匹配字符串的结束
*         重复零次或更多次
+         重复一次或更多次
?         重复零次或一次
{n}       重复n次
{n,}      重复n次或更多次
{n,m}     重复n到m次
*?        复任意次，但尽可能少重复
+?        重复1次或更多次，但尽可能少重复
??        重复0次或1次，但尽可能少重复
{n,m}?    重复n到m次，但尽可能少重复
{n,}?     重复n次以上，但尽可能少重复
\W        匹配任意不是字母，数字，下划线，汉字的字符
\S        匹配任意不是空白符的字符
\D        匹配任意非数字的字符
\B        匹配不是单词开头或结束的位置
[^x]      匹配除了x以外的任意字符
[^aeiou]  匹配除了aeiou这几个字母以外的任意字符   
(exp)         匹配exp,并捕获文本到自动命名的组里
(?<name>exp)  匹配exp,并捕获文本到名称为name的组里，也可以写成(?'name'exp)
(?:exp)       匹配exp,不捕获匹配的文本，也不给此分组分配组号   
(?=exp)       匹配exp前面的位置
(?<=exp)      匹配exp后面的位置
(?!exp)       匹配后面跟的不是exp的位置
(?<!exp)      匹配前面不是exp的位置
(?#comment)   注释分组不对正则表达式的处理产生任何影响

常用的几个annotations参数如下：
在这里插入图片描述
举例如下：

1:编写ingress yaml文件
apiVersion: networking.k8s.io/v1
kind: Ingress  
metadata:      
  annotations: 
    nginx.ingress.kubernetes.io/rewrite-target: /$2
  name: ingress-test
spec:          
  ingressClassName: nginx
  rules:       
  - host: "nginx.test.com"
    http:      
      paths:   
      - path: "/nginx(/|$)(.*)"
        pathType: Prefix
        backend:
          service:
            name: nginx-svc
            port:
              number: 80  
              
注意：上面定义的ingress将有以下几种场景
<1>：nginx.test.com/something rewrites to nginx.test.com/
<2>：nginx.test.com/something/ rewrites to nginx.test.com/
<3>：nginx.test.com/something/new rewrites to nginx.test.com/new


###############################
2：创建ingress如下： nginx-svc已经提前创建
[root@node1 yaml]# kubectl apply -f ingress-nginx.yaml 
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# kubectl get ingress
NAME           CLASS   HOSTS            ADDRESS        PORTS   AGE
ingress-test   nginx   nginx.test.com   192.168.5.79   80      98s
[root@node1 yaml]#

浏览器访问nginx.test.com/nginx,如下：
在这里插入图片描述

三、ingress auth验证

顾名思义是在使用域名访问时，需要提供用户名和密码。在ingress中有以下两个参数来实现
在这里插入图片描述
使用步骤如下：

1:使用htpasswd工具创建用户密码文件
[root@node1 yaml]# htpasswd -c auth admin
New password: 
Re-type new password: 
Adding password for user admin
[root@node1 yaml]# 



2：使用auth文件创建secret
[root@node1 yaml]# kubectl create secret generic basic-auth --from-file=auth
secret/basic-auth created
[root@node1 yaml]# 
[root@node1 yaml]# kubectl get  secret basic-auth -o yaml
apiVersion: v1
data:
  auth: YWRtaW46JGFwcjEkVlBvTVFNUTYkcW45NUZrSDNUZjBtbFU5a0Fuck1oMQo=
kind: Secret
metadata:
  creationTimestamp: "2023-11-16T10:44:34Z"
  name: basic-auth
  namespace: default
  resourceVersion: "36379081"
  uid: eac9b232-a6cc-4457-a098-9433d542ae3f
type: Opaque
[root@node1 yaml]# 



3： 编辑ingress yaml文件，如下：
apiVersion: networking.k8s.io/v1                                            
kind: Ingress   
metadata:       
  annotations:  
    nginx.ingress.kubernetes.io/auth-type: basic                            
    nginx.ingress.kubernetes.io/auth-secret: basic-auth                     
    nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required - nginx'
  name: ingress-test
spec:           
  ingressClassName: nginx
  rules:        
  - host: "nginx.test.com" 
    http:       
      paths:    
      - path: "/"                                                                                                                                                          
        pathType: Prefix
        backend:
          service:
            name: nginx-svc
            port:
              number: 80
              

4：创建ingress如下：
[root@node1 yaml]# kubectl apply -f  ingress-auth.yaml
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# kubectl get ing -A
NAMESPACE   NAME           CLASS   HOSTS            ADDRESS        PORTS   AGE
default     ingress-test   nginx   nginx.test.com   192.168.5.79   80      83s
[root@node1 yaml]#

浏览器访问
在这里插入图片描述

四、ingress 强制使用https

互联网发展中，安全是非常重要的，由其是现在HTTPS非常普及的情况下，应用程序在公网上一般都会被强制要求HTTPS。应用强制HTTPS，当应用程序识别到用户使用的是HTTP协议访问时，强制跳转至HTTPS。这种场景一般推荐是应用程序直接向外提供服务，不经过Ingress时使用。

Ingress强制使用HTTPS时，可以使用以下参数设置

在这里插入图片描述
步骤如下：

1：创建secret证书，参数步骤https://blog.csdn.net/weixin_40579389/article/details/134338494?spm=1001.2014.3001.5501

[root@node1 yaml]# kubectl get secret  | grep tls
tls-secret                    kubernetes.io/tls    2      6d2h
[root@node1 yaml]#


2：编辑ingress yaml文件如下：
[root@node1 yaml]# cat ingress-nginx-https.yaml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/force-ssl-redirect: "true"
    nginx.ingress.kubernetes.io/rewrite-target: /
  name: ingress-test
spec:
  tls:
    - hosts:
        - nginx.test.com       ###使用tls的主机
      secretName: tls-secret
  ingressClassName: nginx
  rules:
  - host: "nginx.test.com"
    http:
      paths:
      - path: "/"
        pathType: Prefix
        backend:
          service:
            name: nginx-svc
            port:
              number: 80



3：创建ingress 如下：
[root@node1 yaml]# kubectl apply -f  ingress-nginx-https.yaml 
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# kubectl get ing 
NAME           CLASS   HOSTS            ADDRESS   PORTS     AGE
ingress-test   nginx   nginx.test.com             80, 443   6s
[root@node1 yaml]#

浏览器访问如下：
在这里插入图片描述
如下会自动跳转到https

五、ingress 允许最大body

这个主要是针对外部请求，防止将流量打满，proxy-body-size 设置最大请求 body，如果超过则会返回 413 请求错误。它通常用于保护后端服务免受恶意用户发送的大型或潜在有害的请求

通过nginx.ingress.kubernetes.io/proxy-body-size: 10m参数来实现

proxy-body-size单位大小

k 或 K 表示千字节（KB）
m 或 M 表示兆字节（MB）
g 或 G 表示千兆字节（GB）

步骤如下：

######################################################
1：创建ingress，如下：
apiVersion: networking.k8s.io/v1                    
kind: Ingress         
metadata:             
  annotations:        
    nginx.ingress.kubernetes.io/proxy-body-size: 10M   ###指定大小为10M
  name: ingress-test      
spec:                 
  ingressClassName: nginx 
  rules:              
  - host: "nginx.test.com"
    http:             
      paths:          
      - path: "/"   
        pathType: Prefix  
        backend:      
          service:        
            name: nginx-svc                         
            port:     
              number: 80
              

####################################
2：创建ingress,如下：
[root@node1 yaml]# kubectl apply -f  ingress-body-size.yaml 
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# kubectl get ing
NAME           CLASS   HOSTS            ADDRESS   PORTS   AGE
ingress-test   nginx   nginx.test.com             80      3s
[root@node1 yaml]# kubectl get ing
NAME           CLASS   HOSTS            ADDRESS        PORTS   AGE
ingress-test   nginx   nginx.test.com   192.168.5.79   80      100s
[root@node1 yaml]#

六、ingress affinity会话保持

Ingress会话保持,又称会话亲和、粘性会话，指同一客户端的请求在一定时间内会被ingress路由到相同的pod处理

下面举例来验证一下

没有配置affinity效果

1:创建nginx deploy，使用三幅本
[root@node1 yaml]# kubectl get po -o wide 
NAME                                      READY   STATUS    RESTARTS       AGE     IP             NODE    NOMINATED NODE   READINESS GATES
nginx-5977dc5756-glczk                    1/1     Running   0              8d      172.16.44.6    node2   <none>           <none>
nginx-5977dc5756-r7z4w                    1/1     Running   0              8m21s   172.16.28.14   node3   <none>           <none>
nginx-5977dc5756-zzv5d                    1/1     Running   0              8m21s   172.16.154.7   node1   <none>           <none>


[root@node1 yaml]# kubectl get deploy
NAME                     READY   UP-TO-DATE   AVAILABLE   AGE
nginx                    3/3     3            3           8d
[root@node1 yaml]# 
[root@node1 yaml]# kubectl get svc
NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE
kubernetes   ClusterIP   10.233.0.1      <none>        443/TCP    222d
nginx-svc    ClusterIP   10.233.43.219   <none>        80/TCP     8d
[root@node1 yaml]# 



#################################33
2：创建ingress ,如下：
[root@node1 yaml]# cat ingress.yaml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-test
spec:
  ingressClassName: nginx
  rules:
  - host: "nginx.test.com"
    http:
      paths:
      - path: "/"
        pathType: Prefix
        backend:
          service:
            name: nginx-svc
            port:
              number: 80
[root@node1 yaml]# 
[root@node1 yaml]# kubectl apply -f ingress.yaml 
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# 
[root@node1 yaml]# kubectl get ing
NAME           CLASS   HOSTS            ADDRESS        PORTS   AGE
ingress-test   nginx   nginx.test.com   192.168.5.79   80      51s

打开浏览器访问nginx.test.com，连续多刷新几次，查看ingress-controller pod日志可以看到每次请求被均匀的分配到了后端的每个pod
在这里插入图片描述

配置affinity效果

1:使用上述创建的deploy、svc
2:编辑ingress yaml文件，如下：
apiVersion: networking.k8s.io/v1                                   
kind: Ingress                                                      
metadata:                                                          
  annotations:                                                     
    nginx.ingress.kubernetes.io/affinity: cookie   ###实现会话亲和的方式,目前只支持cookie 
    nginx.ingress.kubernetes.io/affinity-mode: persistent   # 默认是balanced平衡的,伸缩应用时会重新分配一些session, 以确保每个pod处理的会话数均衡;persistent持续的, 保持最大限度的会话亲和
    nginx.ingress.kubernetes.io/session-cookie-hash: sha1    #哈希算法    
    nginx.ingress.kubernetes.io/session-cookie-name: ingress-nginx   # 自定义cookie名字, 默认为INGRESSCOOKIE。一定要设置cookie name，避免不同ingress使用相同的cookie name导致冲突                  
  name: ingress-test                                               
spec:                                                              
  ingressClassName: nginx                                          
  rules:                                                           
  - host: "nginx.test.com"                                         
    http:                                                          
      paths:                                                       
      - path: "/"                                                  
        pathType: Prefix                                           
        backend:                                                   
          service:                                                 
            name: nginx-svc                                        
            port:                                                  
              number: 80    
              
3：创建ingress 
[root@node1 yaml]# kubectl apply -f   ingress-affinity.yaml
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# 
[root@node1 yaml]# kubectl get ing
NAME           CLASS   HOSTS            ADDRESS        PORTS   AGE
ingress-test   nginx   nginx.test.com   192.168.5.79   80      60s

打开浏览器访问nginx.test.com，连续多刷新几次，可以看到请求都被分配到同一个pod上
在这里插入图片描述
使用curl 命令查看设置的cookie名称，如下：

[root@node1 yaml]# curl -i nginx.test.com
HTTP/1.1 200 OK
Date: Fri, 17 Nov 2023 07:08:40 GMT
Content-Type: text/html
Content-Length: 615
Connection: keep-alive
Set-Cookie: ingress-nginx=e6decf59a107dc5da74a5cd7e13b8da1|996a01b99b36cdd86f627625659ee9ee; Path=/; HttpOnly
Last-Modified: Tue, 25 Jan 2022 15:03:52 GMT
ETag: "61f01158-267"
Accept-Ranges: bytes


########################
上面可以看到 Set-Cookie:  后面的名称为设置的ingress-nginx