kube-proxy核心组件介绍

最新推荐文章于 2024-05-02 05:34:07 发布
最新推荐文章于 2024-05-02 05:34:07 发布
阅读量1.6k 收藏
点赞数
文章标签： kubernetes 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/as_dingjia/article/details/121028472
版权

每台机器上都运行一个 kube-proxy 服务，它监听 API server 中 service 和 endpoint 的变化情况，并通过 iptables 等来为服务配置负载均衡（仅支持 TCP 和 UDP）。

kube-proxy 可以直接运行在物理机上，也可以以 static pod 或者 daemonset 的方式运行。

kube-proxy 当前支持以下几种实现

  • userspace：最早的负载均衡方案，它在用户空间监听一个端口，所有服务通过 iptables 转发到这个端口，然后在其内部负载均衡到实际的 Pod。该方式最主要的问题是效率低，有明显的性能瓶颈。
  • iptables：目前推荐的方案，完全以 iptables 规则的方式来实现 service 负载均衡。该方式最主要的问题是在服务多的时候产生太多的 iptables 规则，非增量式更新会引入一定的时延，大规模情况下有明显的性能问题
  • ipvs：为解决 iptables 模式的性能问题，v1.11 新增了 ipvs 模式（v1.8 开始支持测试版，并在 v1.11 GA），采用增量式更新，并可以保证 service 更新期间连接保持不断开
  • winuserspace：同 userspace，但仅工作在 windows 节点上

注意：使用 ipvs 模式时，需要预先在每台 Node 上加载内核模块 nf_conntrack_ipv4, ip_vs, ip_vs_rr, ip_vs_wrr, ip_vs_sh 等。

# load module <module_name>
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4

# to check loaded modules, use
lsmod | grep -e ip_vs -e nf_conntrack_ipv4
# or
cut -f1 -d " "  /proc/modules | grep -e ip_vs -e nf_conntrack_ipv4

Iptables 示例

(图片来自cilium/k8s-iptables-diagramhttps://github.com/cilium/k8s-iptables-diagram)

# Masquerade
-A KUBE-MARK-DROP -j MARK --set-xmark 0x8000/0x8000
-A KUBE-MARK-MASQ -j MARK --set-xmark 0x4000/0x4000
-A KUBE-POSTROUTING -m comment --comment "kubernetes service traffic requiring SNAT" -m mark --mark 0x4000/0x4000 -j MASQUERADE

# clusterIP and publicIP
-A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.98.154.163/32 -p tcp -m comment --comment "default/nginx: cluster IP" -m tcp --dport 80 -j KUBE-MARK-MASQ
-A KUBE-SERVICES -d 10.98.154.163/32 -p tcp -m comment --comment "default/nginx: cluster IP" -m tcp --dport 80 -j KUBE-SVC-4N57TFCL4MD7ZTDA
-A KUBE-SERVICES -d 12.12.12.12/32 -p tcp -m comment --comment "default/nginx: loadbalancer IP" -m tcp --dport 80 -j KUBE-FW-4N57TFCL4MD7ZTDA

# Masq for publicIP
-A KUBE-FW-4N57TFCL4MD7ZTDA -m comment --comment "default/nginx: loadbalancer IP" -j KUBE-MARK-MASQ
-A KUBE-FW-4N57TFCL4MD7ZTDA -m comment --comment "default/nginx: loadbalancer IP" -j KUBE-SVC-4N57TFCL4MD7ZTDA
-A KUBE-FW-4N57TFCL4MD7ZTDA -m comment --comment "default/nginx: loadbalancer IP" -j KUBE-MARK-DROP

# Masq for nodePort
-A KUBE-NODEPORTS -p tcp -m comment --comment "default/nginx:" -m tcp --dport 30938 -j KUBE-MARK-MASQ
-A KUBE-NODEPORTS -p tcp -m comment --comment "default/nginx:" -m tcp --dport 30938 -j KUBE-SVC-4N57TFCL4MD7ZTDA

# load balance for each endpoints
-A KUBE-SVC-4N57TFCL4MD7ZTDA -m comment --comment "default/nginx:" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-UXHBWR5XIMVGXW3H
-A KUBE-SVC-4N57TFCL4MD7ZTDA -m comment --comment "default/nginx:" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-TOYRWPNILILHH3OR
-A KUBE-SVC-4N57TFCL4MD7ZTDA -m comment --comment "default/nginx:" -j KUBE-SEP-6QCC2MHJZP35QQAR

# endpoint #1
-A KUBE-SEP-6QCC2MHJZP35QQAR -s 10.244.3.4/32 -m comment --comment "default/nginx:" -j KUBE-MARK-MASQ
-A KUBE-SEP-6QCC2MHJZP35QQAR -p tcp -m comment --comment "default/nginx:" -m tcp -j DNAT --to-destination 10.244.3.4:80

# endpoint #2
-A KUBE-SEP-TOYRWPNILILHH3OR -s 10.244.2.4/32 -m comment --comment "default/nginx:" -j KUBE-MARK-MASQ
-A KUBE-SEP-TOYRWPNILILHH3OR -p tcp -m comment --comment "default/nginx:" -m tcp -j DNAT --to-destination 10.244.2.4:80

# endpoint #3
-A KUBE-SEP-UXHBWR5XIMVGXW3H -s 10.244.1.2/32 -m comment --comment "default/nginx:" -j KUBE-MARK-MASQ
-A KUBE-SEP-UXHBWR5XIMVGXW3H -p tcp -m comment --comment "default/nginx:" -m tcp -j DNAT --to-destination 10.244.1.2:80

如果服务设置了 externalTrafficPolicy: Local 并且当前 Node 上面没有任何属于该服务的 Pod，那么在 KUBE-XLB-4N57TFCL4MD7ZTDA 中会直接丢掉从公网 IP 请求的包：

-A KUBE-XLB-4N57TFCL4MD7ZTDA -m comment --comment "default/nginx: has no local endpoints" -j KUBE-MARK-DROP

ipvs 示例

Kube-proxy IPVS modehttps://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/ipvs/README.md 列出了各种服务在 IPVS 模式下的工作原理。

$ ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.0.1:443 rr persistent 10800
  -> 192.168.0.1:6443             Masq    1      1          0
TCP  10.0.0.10:53 rr
  -> 172.17.0.2:53                Masq    1      0          0
UDP  10.0.0.10:53 rr
  -> 172.17.0.2:53                Masq    1      0          0

注意，IPVS 模式也会使用 iptables 来执行 SNAT 和 IP 伪装（MASQUERADE），并使用 ipset 来简化 iptables 规则的管理：

ipset 名成员用途
KUBE-CLUSTER-IPAll service IP + portMark-Masq for cases that masquerade-all=true or clusterCIDR specified
KUBE-LOOP-BACKAll service IP + port + IPmasquerade for solving hairpin purpose
KUBE-EXTERNAL-IPservice external IP + portmasquerade for packages to external IPs
KUBE-LOAD-BALANCERload balancer ingress IP + portmasquerade for packages to load balancer type service
KUBE-LOAD-BALANCER-LOCALLB ingress IP + port with externalTrafficPolicy=localaccept packages to load balancer with externalTrafficPolicy=local
KUBE-LOAD-BALANCER-FWload balancer ingress IP + port with loadBalancerSourceRangespackage filter for load balancer with loadBalancerSourceRanges specified
KUBE-LOAD-BALANCER-SOURCE-CIDRload balancer ingress IP + port + source CIDRpackage filter for load balancer with loadBalancerSourceRanges specified
KUBE-NODE-PORT-TCPnodeport type service TCP portmasquerade for packets to nodePort(TCP)
KUBE-NODE-PORT-LOCAL-TCPnodeport type service TCP port with externalTrafficPolicy=localaccept packages to nodeport service with externalTrafficPolicy=local
KUBE-NODE-PORT-UDPnodeport type service UDP portmasquerade for packets to nodePort(UDP)
KUBE-NODE-PORT-LOCAL-UDPnodeport type service UDP port withexternalTrafficPolicy=localaccept packages to nodeport service withexternalTrafficPolicy=local

启动 kube-proxy 示例

kube-proxy --kubeconfig=/var/lib/kubelet/kubeconfig --cluster-cidr=10.240.0.0/12 --feature-gates=ExperimentalCriticalPodAnnotation=true --proxy-mode=iptables

kube-proxy 工作原理

kube-proxy 监听 API server 中 service 和 endpoint 的变化情况，并通过 userspace、iptables、ipvs 或 winuserspace 等 proxier 来为服务配置负载均衡（仅支持 TCP 和 UDP）。

kube-proxy 不足

kube-proxy 目前仅支持 TCP 和 UDP，不支持 HTTP 路由，并且也没有健康检查机制。这些可以通过自定义 Ingress controller的方法来解决。

鞍山陆家嘴
关注
重做kube-proxy的架构-Golang开发
05-26
Kubernetes代理NG Kubernetes代理NG是一种新的kube-proxy设计，旨在使Kubernetes业务逻辑发展到最小甚至没有影响Kubernetes代理NG Kubernetes代理NG Kube-proxy的新设计旨在允许Kubernetes业务逻辑与之一起发展。...
k8s kube-proxy详解
魏志标的博客
06-13 5723
kube-proxy是kubernetes中网络核心组件，实现了服务暴露和转发等网络功能。kube-proxy支持userspace，ipvs和iptables三种代理模式。userspace性能问题较严重，基本不再使用，应用最多的是iptables和ipvs模式。kube-proxy 以daemonset的方式运行在每个Node计算节点上，负责Pod网络代理, 它会定时通过apiserver从etcd服务获取到service和endpoint资源的变化，维护网络规则和四层负载均衡工作。
Kubernetes核心技术组件Kube-Proxy解析
专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
04-24 770
Kube-Proxy 是 Kubernetes 集群中的核心网络组件之一，负责实现 Service 的网络代理和负载均衡功能，确保集群内部和外部对 Service 的访问能够透明地转发到后端的 Pods。
kubernetes介绍，及各组件功能阐述
soliso
10-24 1544
kubernetes介绍，及各组件功能阐述
Kubernetes 【网络组件】kube-proxy使用详解
热门推荐
爱死亡机器人
04-01 1万+
文章目录1. 介绍2. kube-proxy 工作原理3. kube-proxy 不足4. 实现方式4.1 Iptables 示例4.2 ipvs 示例5. 启动 kube-proxy 示例 1. 介绍 Kube-proxy是一个简单的网络代理和负载均衡器，它的作用主要是负责Service的实现，具体来说，就是实现了内部从Pod到Service和外部的从NodePort向Service的访问，每台机器上都运行一个 kube-proxy 服务，它监听 API server 中 service 和 endpo
Kubernetes核心技术组件Kube-Proxy介绍
最新发布
专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
05-02 650
Kube-Proxy 是 Kubernetes 集群中的一个核心网络组件，它运行在每个节点(Node)上，负责实现 Kubernetes 服务(Service)的网络代理和负载均衡功能。
my-kube-proxy:用户空间
03-26
Kube-proxy 是 Kubernetes 集群中的核心组件之一，它负责维护 Service 的网络规则，确保服务发现和负载均衡的正常工作。在 Kubernetes 中，每个节点上都会运行一个 kube-proxy 实例。 **Kubernetes Kube-proxy 的...
kpng:重做kube-proxy的架构
04-01
Kubernetes代理NG Kubernetes Proxy NG是针对kube-proxy的新设计，旨在使Kubernetes业务逻辑得以发展，而对后端实施的影响很小甚至没有影响， 提高可扩展性提高整合第三方环境的能力， 以图书馆为导向，以允许包装商...
kube-flannel
01-25
kube-flannel 的配置文件 `kube-flannel.yaml` 是用于在集群中部署和配置 flannel 的核心文件。这个文件包含了定义部署、服务账户、角色和角色绑定等 Kubernetes 对象的YAML格式描述。通过应用此文件，你可以将 ...
Kubernetes核心原理介绍.pdf
10-11
Kubernetes 的架构主要由以下几个核心组件组成： * etcd：保存了整个集群的状态 * kube-apiserver：提供了资源操作的唯一入口，并提供认证、授权、访问控制、API 注册和发现等机制 * kube-controller-manager：负责...
kube-proxy 工作原理
qq1010267837的博客
07-20 2892
kube-proxy是Kubernetes的核心组件，部署在每个Node节点上，它是实现KubernetesService的通信与负载均衡机制的重要组件;kube-proxy负责为Pod创建代理服务，从apiserver获取所有server信息，并根据server信息创建代理服务，实现server到Pod的请求路由和转发，从而实现K8s层级的虚拟转发网络。kube-proxy有三种模式userspace、iptables和IPVS，其中userspace模式不太常用。...
云原生技术 --- k8s节点组件之kube-proxy的学习与理解
编码爱好者
09-29 2410
k8s 网络代理(`kube-proxy`)在每个节点上运行。网络代理反映了每个节点上 Kubernetes API 中定义的服务，并且可以执行简单的 TCP、UDP 和 SCTP 流转发，或者在一组后端进行 循环 TCP、UDP 和 SCTP 转发。但是，必须要有一个插件，才可以实现相应的通信功能，它的作用是使发往 Service 的流量（通过ClusterIP和端口）负载均衡到正确的后端Pod。
kube-proxy源码阅读(iptables实现)
八月对半
03-03 1694
Reference 文章目录1 入口2 ProxyServer创建及调用3 ProxyServer 核心调用流程3.1 func (o *Options) Run() err3.2 func (o *Options) runLoop() error3.3 func (s *ProxyServer) Run() error3.4 func (proxier *Proxier) SyncLoop()4 资源事件处理流程4.1 Service事件4.2 Endpoints事件4.3 Nodes事件4.4 func
kube-proxy 详解
m0_57223716的博客
06-07 1万+
在kubernets集群的每个节点上都运行着kube-proxy进程，负责实现Kubernetes中service组件的虚拟IP服务。目前kube-proxy有如下三种工作模式：User space模式在这种模式下，kube-proxy通过观察Kubernetes中service和endpoint对象的变化，当有新的service创建时，所有节点的kube-proxy在node节点上随机选择一个端口，在iptables中追加一条把访问service的请求重定向到这个端口的记录，并开始监听这个端口的连接请求。
一文看懂 Kube-proxy
THMAIL的博客
08-30 1161
对于iptables和IPVS模式，kube-proxy的响应时间开销与建立连接相关，而不是与在这些连接上发送的数据包或请求的数量有关。这是因为Linux使用的连接跟踪（conntrack）能够非常有效地将数据包与现有连接进行匹配。如果数据包在conntrack中匹配，则无需检查kube-proxy的iptables或IPVS规则即可确定该如何处理。在集群中不超过1000个服务的时候，iptables 和 ipvs 并无太大的差异。...
kube-proxy的功能
weixin_30737433的博客
04-09 512
Kube-proxy的功能 我们知道POD的IP是动态分配的而且经常会变，所以为了可以通过一个不太容易变化的IP访问POD就会使用一个叫做service的东西，通过标签选择器和POD进行关联。 Service提供常用的类型有： ClusterIP，也是默认方式。Service会分配一个集群内部的固定虚拟IP，实现集群内通过该IP来对POD进行访问。这个又有两类，上面说到的最普通的Serv...
kubernetes核心组件kube-proxy
zmm0420的专栏
05-29 339
一. kube-proxy 和 service kube-proxy是Kubernetes的核心组件，部署在每个Node节点上，它是实现Kubernetes Service的通信与负载均衡机制的重要组件; kube-proxy负责为Pod创建代理服务，从apiserver获取所有server信息，并根据server信息创建代理服务，实现server到Pod的请求路由和转发，从而实现K8s层级的虚拟转发网络。 在k8s中，提供相同服务的一组pod可以抽象成一个service，通过service提供的统..
Kubernetes的主要组件概述
hty46565的博客
12-15 1万+
概述本文试图用简单的语言描述Kubernetes主要组件的作用及其关系。这里我讲解的Kubernetes主要组件有API Server、Controller Manager、Scheduler、kubelet、kube-proxy，其中前三者运行于集群的Master节点，后两者运行于集群的Slave节点。接着描述了一下用于存储Kubernetes集群信息的Etcd，它是一个高可用、强一致性的服务发现
【kubernetes系列】kubernetes之kube-proxy的工作模式
margu_168的博客
07-03 2342
从kubernetes最早开始，kube-proxy到现在总共支持三种模式，在v1.8之前我们使用的是iptables 以及 userspace两种模式，iptables 模式从 v1.2 版本开始引入并作为kube-proxy 默认的操作模式。在kubernetes 1.8之后引入了ipvs模式，并且在v1.11中正式使用，其中iptables和ipvs都是内核态也就是基于netfilter，只有userspace模式是用户态。
Kubernetes中kube-proxy组件的下载指南
而kube-proxy是Kubernetes中一个核心组件，负责在每个节点上运行，实现Kubernetes Service的网络代理功能，确保网络策略得以正确实施，并提供集群内部服务发现和负载均衡。 kube-proxy支持多种代理模式，包括：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值