Kubernetes Service 数据包地址转换过程（iptables）

最新推荐文章于 2024-07-10 10:58:46 发布
最新推荐文章于 2024-07-10 10:58:46 发布
阅读量774 收藏 19
点赞数 17
文章标签： kubernetes linux 容器 网络 docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53111196/article/details/139119275
版权

环境说明

CNI 插件：Calico VxLAN 模式

root@k8s-control-plane:/# kubectl get nodes -o wide
NAME                STATUS   ROLES                  AGE   VERSION    INTERNAL-IP   EXTERNAL-IP   OS-IMAGE                         KERNEL-VERSION     CONTAINER-RUNTIME
k8s-control-plane   Ready    control-plane,master   12m   v1.23.17   172.18.0.4    <none>        Debian GNU/Linux 12 (bookworm)   6.5.0-35-generic   containerd://1.7.13
k8s-worker          Ready    <none>                 11m   v1.23.17   172.18.0.3    <none>        Debian GNU/Linux 12 (bookworm)   6.5.0-35-generic   containerd://1.7.13
k8s-worker2         Ready    <none>                 11m   v1.23.17   172.18.0.2    <none>        Debian GNU/Linux 12 (bookworm)   6.5.0-35-generic   containerd://1.7.13

ClusterIP

ClusterIP 类型的 Service 提供一个集群内部的访问点，它的 IP 地址是一个仅在集群内部可路由的虚拟 IP 地址，映射到后端所有处于就绪状态的 Pod。kube-proxy负责维护节点上的网络规则，使流经 ClusterIP 地址的流量能够正确路由到后端可用的 Pod

创建用于测试的 Pod，包含一个名为 client 的 Pod 和一个名为 server 的 DaemonSet

apiVersion: v1
kind: Pod
metadata:
  name: client
  labels:
    app: client
spec:
  containers:
  - name: client
    image: nginx:alpine
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: server
spec:
  selector:
    matchLabels:
      app: server
  template:
    metadata:
      labels:
        app: server
    spec:
      containers:
      - name: server
        image: nginx:alpine
        ports:
        - containerPort: 80

查看创建的 Pod

root@k8s-control-plane:/# kubectl apply -f test.yaml 
pod/client created
daemonset.apps/server created

root@k8s-control-plane:/# kubectl get pod -o wide 
NAME           READY   STATUS    RESTARTS   AGE   IP               NODE          NOMINATED NODE   READINESS GATES
client         1/1     Running   0          36s   10.244.254.130   k8s-worker    <none>           <none>
server-p4lmn   1/1     Running   0          36s   10.244.254.129   k8s-worker    <none>           <none>
server-smp9k   1/1     Running   0          36s   10.244.126.5     k8s-worker2   <none>           <none>

创建 ClusterIP Service

apiVersion: v1
kind: Service
metadata:
  name: server-clusterip
spec:
  selector:
    app: server
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
  type: ClusterIP

查看创建的 Service

root@k8s-control-plane:/# kubectl apply -f services-clusterip.yaml 
service/server created

root@k8s-control-plane:/# kubectl get svc server 
NAME               TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
server-clusterip   ClusterIP   10.96.203.213   <none>        80/TCP    5s

访问测试

root@k8s-control-plane:/# kubectl exec -it client -- sh
/ # curl -s -w "%{http_code}\n" server -o /dev/null
200
/ # curl -s -w "%{http_code}\n" 10.96.203.213 -o /dev/null
200
/ # curl -s -w "%{http_code}\n" 10.244.254.129 -o /dev/null
200

查看该 Service 对应的 Iptables 规则

root@k8s-worker:/# iptables -t nat -L | grep 10.96.203.213
KUBE-SVC-Z5ZTHZWXI2PR3CSY  tcp  --  anywhere             10.96.203.213        /* default/server cluster IP */ tcp dpt:http
KUBE-MARK-MASQ  tcp  -- !10.244.0.0/16        10.96.203.213        /* default/server cluster IP */ tcp dpt:http

查看KUBE-SVC-Z5ZTHZWXI2PR3CSY链的所有规则

root@k8s-worker:/# iptables -t nat -L KUBE-SVC-Z5ZTHZWXI2PR3CSY
Chain KUBE-SVC-Z5ZTHZWXI2PR3CSY (1 references)
target     prot opt source               destination         
KUBE-MARK-MASQ  tcp  -- !10.244.0.0/16        10.96.203.213        /* default/server cluster IP */ tcp dpt:http
KUBE-SEP-ISVQMGFN2WES56JK  all  --  anywhere             anywhere             /* default/server */ statistic mode random probability 0.50000000000
KUBE-SEP-I6KQB5ZRXBO2YH32  all  --  anywhere             anywhere             /* default/server */

进一步查看，可以看到 DNAT 字样，说明 TCP 数据包的目的 IP 地址将发生转换

root@k8s-worker:/# iptables -t nat -L KUBE-SEP-ISVQMGFN2WES56JK
Chain KUBE-SEP-ISVQMGFN2WES56JK (1 references)
target     prot opt source               destination         
# 标记数据包，使返回的数据能够包转换回原来的地址
KUBE-MARK-MASQ  all  --  10.244.126.5         anywhere             /* default/server */
DNAT       tcp  --  anywhere             anywhere             /* default/server */ tcp to:10.244.126.5:80

root@k8s-worker:/# iptables -t nat -L KUBE-SEP-I6KQB5ZRXBO2YH32
Chain KUBE-SEP-I6KQB5ZRXBO2YH32 (1 references)
target     prot opt source               destination         
KUBE-MARK-MASQ  all  --  10.244.254.129       anywhere             /* default/server */
DNAT       tcp  --  anywhere             anywhere             /* default/server */ tcp to:10.244.254.129:80

数据包地址转换过程如下：
在这里插入图片描述

NodePort

NodePort 类型的 Service 在所有的节点上暴露一个固定端口（30000~32767），外部流量可以通过这个端口到达集群内部的 Pod

externalTrafficPolicy 字段指示 Service 如何处理外部流量

  • Cluster：默认值。如果本地节点上没有对应的后端 Pod，流量会被转发到其它节点
  • Local：保留客户端的源 IP 地址。如果本地节点上没有对应的后端 Pod，数据包会被丢弃

创建 NodePort Service

apiVersion: v1
kind: Service
metadata:
  name: server-nodeport
spec:
  type: NodePort
  selector:
    app: server
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
      nodePort: 32000

查看创建的 Service

root@k8s-control-plane:/# kubectl apply -f services-nodeport.yaml 
service/server-nodeport created

root@k8s-control-plane:/# kubectl get svc server-nodeport 
NAME              TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
server-nodeport   NodePort   10.96.230.121   <none>        80:32000/TCP   38s

访问任意节点的 32000 端口

$ curl -s -w "%{http_code}\n" 172.18.0.3:32000 -o /dev/null
200```

$ curl -s -w "%{http_code}\n" 172.18.0.2:32000 -o /dev/null
200

查看该 Service 对应的 iptables 规则

root@k8s-worker:/# iptables -t nat -L | grep 32000
KUBE-SVC-3V3RLJNFHWQZHLRS  tcp  --  anywhere             anywhere             /* default/server-nodeport */ tcp dpt:32000
KUBE-MARK-MASQ  tcp  --  anywhere             anywhere             /* default/server-nodeport */ tcp dpt:32000

查看KUBE-SVC-3V3RLJNFHWQZHLRS链的所有规则

root@k8s-worker:/# iptables -t nat -L KUBE-SVC-3V3RLJNFHWQZHLRS
Chain KUBE-SVC-3V3RLJNFHWQZHLRS (2 references)
target     prot opt source               destination         
KUBE-MARK-MASQ  tcp  -- !10.244.0.0/16        10.96.230.121        /* default/server-nodeport cluster IP */ tcp dpt:http
KUBE-MARK-MASQ  tcp  --  anywhere             anywhere             /* default/server-nodeport */ tcp dpt:32000
KUBE-SEP-OHUMVRELWAOZJIQ6  all  --  anywhere             anywhere             /* default/server-nodeport */ statistic mode random probability 0.50000000000
KUBE-SEP-BGDVP23KI4VS7M6S  all  --  anywhere             anywhere             /* default/server-nodeport */

进一步查看，可以看到 DNAT 字样，说明 TCP 数据包的目的 IP 地址将发生转换

root@k8s-worker:/# iptables -t nat -L KUBE-SEP-OHUMVRELWAOZJIQ6
Chain KUBE-SEP-OHUMVRELWAOZJIQ6 (1 references)
target     prot opt source               destination         
KUBE-MARK-MASQ  all  --  10.244.126.5         anywhere             /* default/server-nodeport */
DNAT       tcp  --  anywhere             anywhere             /* default/server-nodeport */ tcp to:10.244.126.5:80

root@k8s-worker:/# iptables -t nat -L KUBE-SEP-BGDVP23KI4VS7M6S
Chain KUBE-SEP-BGDVP23KI4VS7M6S (1 references)
target     prot opt source               destination         
KUBE-MARK-MASQ  all  --  10.244.254.129       anywhere             /* default/server-nodeport */
DNAT       tcp  --  anywhere             anywhere             /* default/server-nodeport */ tcp to:10.244.254.129:80

数据包地址转换过程如下：
在这里插入图片描述

  • 10.244.254.128 是 VxLAN 接口的 IP 地址
  • 外部流量策略设置为Cluster时，转发到其它节点的数据包同时进行了原地址转换（SNAT）和目的地址转换（DNAT）

LoadBalancer

LoadBalancer 类型的 Service 将服务暴露到集群外部。它将 NodePort Service 的行为和外部负载均衡器相结合。LoadBalancer 处理 4 层流量，因此它适用于任何 TCP 或 UDP 的服务

创建 LoadBalancer Service

apiVersion: v1
kind: Service
metadata:
  name: server-loadbalancer
  labels:
    app: app
spec:
  selector:
    app: server
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
  type: LoadBalancer

查看创建的 Service

root@k8s-control-plane:/# kubectl get svc server-loadbalancer 
NAME                  TYPE           CLUSTER-IP      EXTERNAL-IP    PORT(S)        AGE
server-loadbalancer   LoadBalancer   10.96.131.121   172.18.0.100   80:31184/TCP   7s

数据包地址转换过程如下：
在这里插入图片描述
4 层负载均衡器会直接转发流量，而不会终止与客户端的连接并重新与后端建立连接

浊_游
关注
  • 17
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
iptables 及iptables-service的rpm包
05-17
iptables-services-1.4.21-35.el7.x86_64 iptables-1.4.21-35.el7.x86_64 iptables-services-1.4.21-28.el7.x86_64.rpm iptables-1.4.21-16.el7.x86_64.rpm
Kubernetes Service的优化实战.pptx
10-11
Kubernetes Service是Kubernetes集群内部服务发现和负载均衡的核心组件，它允许Pods之间的通信，同时提供了抽象层，使得服务的IP和端口保持稳定，即使底层Pod在运行过程中发生变动。在大规模部署中，Service的优化...
kubernetes-iptables-proxy:使用iptables快速实现Kubernetes代理
05-23
这是使用iptables规则的Kubernetes代理的快速实现。 设置： iptables -t nat -I PREROUTING -j my-dnatiptables -t nat -I OUTPUT -j my-dnatiptables -t nat -I POSTROUTING -j my-snat/usr/bin/docker run --name ...
iptables 做内网映射到公网地址
01-09
案例:在一组集群中，只有内网的服务器需要走反代的公网出去。 内网某台服务器ip:192.168.142.82 反代的内网ip:192.168.142.90 1.内网服务器的网卡的网关设置成192.168.142.90 #cat ifcfg-enp2s0f1 ...
kube-iptables-tailer：一项服务，可为您的Kubernetes集群提供更好的网络可见性
02-03
kube-iptables-tailer是一项服务，可通过检测iptables拒绝的流量并通过Kubernetes事件将相应的信息提供给受影响的Pod，从而使您更好地了解Kubernetes群集中的网络问题。 kube-iptables-tailer本身在集群中作为Pod...
helm安装解决无授权问题
m0_72363694的博客
07-10 323
helm报错，kubesphere安装
ELK日志收集--收集k8s集群中以pod方式运行的应用日志
lwxvgdv的博客
07-07 1376
Filebeat+ELK的构建与解释参考链接:k8s学习–基于k8s的ELK日志收集的详细过程本章不再重复描述。
K8S集群应用国产信创适配实战经验总结
yztezhl的专栏
07-06 651
sealos安装k8s是当下最火热稳定的首选之一
k8s学习之cobra命令库学习
wintree的专栏
07-07 1106
打开k8s代码的时候，我发现基本上那几个核心服务都是使用cobra库作为命令行处理的能力。因此，为了对代码之后的代码学习的有比较深入的理解，因此先基于这个库写个demo，加深对这个库的一些理解吧在这里了，Cobra是一个用Go语言实现的命令行工具。并且现在正在被很多项目使用，例如：Kubernetes、Hugo和Github CLI等。通过使用Cobra，我们可以快速的创建命令行工具，特别适合写测试脚本，各种服务的Admin CLI等。
linux，docker，k8s常见命令
buaixuexideshuge的博客
07-07 870
命令
k8s 部署RuoYi-Vue-Plus之mysql搭建
bit的博客
07-07 231
需要挂载存储款, 可参考 之前文章设置 https://blog.csdn.net/weimeibuqieryu/article/details/140183843。就可以使用节点的ip+30306 来访问了. 公网记得防火墙的端口要打开。先创建命名空间ruoyi。
ubantu安装k8s集群服务
ApexPredator的博客
07-08 416
ubantu安装k8s集群服务
单机版k8s搭建
weixin_61067952的博客
07-08 640
Kubernetes 支持多种网络方案，而且不同网络方案对 –pod-network-cidr有自己的要求，这里设置为10.244.0.0/16 是因为我们将使用 flannel 网络方案，必须设置成这个 CIDR。如果使用kubectl报错，/etc/kubernetes/admin.conf访问拒绝，使用sudo chown $(id -u):$(id -g) /etc/kubernetes/admin.conf。–pod-network-cidr 指定 Pod 网络的范围。
K8s GPU 资源管理探索：在 KubeSphere 上部署 AI 大模型 Ollama
最新发布
KubeSphere
07-10 726
作者：运维有术星主随着人工智能、机器学习、AI 大模型技术的迅猛发展，我们对计算资源的需求也在不断攀升。特别是对于需要处理大规模数据和复杂算法的 AI 大模型，GPU 资源的使用变得至关重要。对于运维工程师而言，掌握如何在 Kubernetes 集群上管理和配置 GPU 资源，以及如何高效部署依赖这些资源的应用，已成为一项不可或缺的技能。今天，我将带领大家深入了解如何在 KubeSphere 平台上，利用 Kubernetes 强大的生态和工具，实现 GPU 资源的管理和应用部署。
k8s中使用cert-manager生成自签名证书
mengting2040的博客
07-08 155
k8s中使用cert-manager生成自签名证书
【k8s中安装rabbitmq】k8s中安装rabbitmq并搭建镜像集群-hostpath版
weixin_56364253的博客
07-09 704
k8s集群中搭建rabbitmq集群服务一般都会用到pvc，但是考虑到有些自建k8s环境下，搭建的共享存储可能会存在稳定性及性能问题，所以这次是通过采用节点亲和性和hostpath来实现，目前的operator的基本都是采用共享存储的方法。本文将根据现有环境及不同需求将rabbitmq镜像集群的搭建采用hostpath+亲和性的权重+多副本来实现数据持久化和高可用。
k8s 部署RuoYi-Vue-Plus之redis搭建
bit的博客
07-07 233
需要挂载存储款, 可参考 之前文章设置 https://blog.csdn.net/weimeibuqieryu/article/details/140183843。就可以使用节点的ip+30379 来访问了. 公网记得防火墙的端口要打开。先创建命名空间ruoyi, 有就不用创建了。
简介Docker以及K8s
月泪同学
07-07 950
Docker 属于 Linux 容器的一种封装，提供简单易用的容器使用接口以及操作系统级别的虚拟化。更为直白的叙述就是，Docker可以将程序和环境（依赖库+配置+操作系统）打包并运行的工具软件。一个可以用来定义和分享多容器应用程序的工具。可以使用单一资源来运行一个有多容器的项目。在对容器部署顺序有要求的项目下使用十分便利（比如先启动数据库在启动身份验证最后启动web服务）一个开源的容器编排平台，可以自动化在部署、管理和扩展容器化应用过程中涉及的许多手动操作。可以轻松对服务器实现负载均衡以及弹性伸缩。
k8s中控制器DaemonSet简介及用法
xu710263124的博客
07-08 449
k8s中DaemonSet

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值