Kubernetes IPVS和IPTABLES

最新推荐文章于 2024-04-13 15:53:49 发布
最新推荐文章于 2024-04-13 15:53:49 发布
阅读量1k 收藏 1
点赞数
文章标签： kubernetes 服务器 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_40572875/article/details/127932730
版权

Kubernetes IPVS和IPTABLES

什么是IPVS

IPVS（IP Virtual Server，IP虚拟服务器）实现了传输层的负载平衡，通常称为4 LAN（四层局域网）交换，是Linux内核的一部分。

IPVS在主机上运行，在真实服务器集群前面充当负载平衡器。IPVS可以将基于 TCP 和 UDP 的服务请求定向到真实服务器上。

IPVS vs IPTABLES

IPVS 模式在 Kubernetes v1.8中引入，在v1.9中成为测试版，在v1.11中成为GA。
IPTABLES模式是在v1.1版本中加入的，从v1.2版本开始成为默认的操作模式。

IPVS和IPTABLES都是基于netfilter的。IPVS模式和IPTABLES模式的区别如下：

  1. IPVS为大型集群提供更好的可扩展性和性能。

  2. IPVS比IPTABLES支持更复杂的负载平衡算法（最小负载、最小连接、定位、加权等）。

  3. IPVS 支持服务器健康检查和连接重试等。

IPVS 对 IPTABLES 的依赖

IPVS代理使用IPTABLES做数据包过滤、SNAT或伪装。具体来说，IPVS代理将使用ipset来存储需要DROP或做伪装的流量的源地址或目的地址，以确保无论我们有多少服务，IPTABLES规则的数量不变。

下面是IPVS代理服务器使用的ipset集的表格。

set namemembersusage
KUBE-CLUSTER-IPAll service IP + portMark-Masq for cases that masquerade-all=true or clusterCIDRspecified
KUBE-LOOP-BACKAll service IP + port + IPmasquerade for solving hairpin purpose
KUBE-EXTERNAL-IPservice external IP + portmasquerade for packages to external IPs
KUBE-LOAD-BALANCERload balancer ingress IP + portmasquerade for packages to load balancer type service
KUBE-LOAD-BALANCER-LOCALLB ingress IP + port with externalTrafficPolicy=localaccept packages to load balancer with externalTrafficPolicy=local
KUBE-LOAD-BALANCER-FWload balancer ingress IP + port with loadBalancerSourceRangespackage filter for load balancer with loadBalancerSourceRangesspecified
KUBE-LOAD-BALANCER-SOURCE-CIDRload balancer ingress IP + port + source CIDRpackage filter for load balancer with loadBalancerSourceRangesspecified
KUBE-NODE-PORT-TCPnodeport type service TCP portmasquerade for packets to nodePort(TCP)
KUBE-NODE-PORT-LOCAL-TCPnodeport type service TCP port with externalTrafficPolicy=localaccept packages to nodeport service with externalTrafficPolicy=local
KUBE-NODE-PORT-UDPnodeport type service UDP portmasquerade for packets to nodePort(UDP)
KUBE-NODE-PORT-LOCAL-UDPnodeport type service UDP port with externalTrafficPolicy=localaccept packages to nodeport service with externalTrafficPolicy=local

在以下情况下，IPVS 代理将依赖 IPTABLES。

1. kube-proxy以–masquerade-all=true启动

如果kube-proxy以--masquerade-all=true启动，IPVS代理将伪装所有访问服务集群IP的流量，这与IPTABLES代理的行为相同。假设kube-proxy指定了标志--masquerade-all=true，那么IPVS代理安装的IPTABLES应该如下所示：

# iptables -t nat -nL

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst

2. 在kube-proxy启动时指定集群CIDR

如果kube-proxy以--cluster-cidr=<cidr>启动，IPVS代理将伪装访问服务集群IP的非集群流量，其行为与IPTABLES代理相同。假设kube-proxy提供的集群cidr是10.244.16.0/24，那么IPVS代理安装的IPTABLES应该如下所示。

# iptables -t nat -nL

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (3 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-MARK-MASQ  all  -- !10.244.16.0/24       0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst

3. loadBalancer类型的服务

对于loadBalancer类型的服务，IPVS代理将安装IPTABLES与ipset KUBE-LOAD-BALANCER匹配。特别是当服务的LoadBalancerSourceRanges被指定或指定externalTrafficPolicy=local时，IPVS代理将创建ipset集KUBE-LOAD-BALANCER-LOCAL/KUBE-LOAD-BALANCER-FW/KUBE-LOAD-BALANCER-SOURCE-CIDR并相应地安装IPTABLES，它应该看起来像下面所示。

# iptables -t nat -nL

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-FIREWALL (1 references)
target     prot opt source               destination
RETURN     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER-SOURCE-CIDR dst,dst,src
KUBE-MARK-DROP  all  --  0.0.0.0/0            0.0.0.0/0

Chain KUBE-LOAD-BALANCER (1 references)
target     prot opt source               destination
KUBE-FIREWALL  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER-FW dst,dst
RETURN     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER-LOCAL dst,dst
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0

Chain KUBE-MARK-DROP (1 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x8000

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-LOAD-BALANCER  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER dst,dst

4. NodePort类型的服务

对于NodePort类型的服务，IPVS代理将安装IPTABLES与ipset KUBE-NODE-PORT-TCP/KUBE-NODE-PORT-UDP的匹配。当指定externalTrafficPolicy=local时，IPVS代理将创建ipset集KUBE-NODE-PORT-LOCAL-TCP/KUBE-NODE-PORT-LOCAL-UDP并相应地安装IPTABLES，这应该是如下所示的：

假设服务的TCP类型为nodePort。

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-NODE-PORT (1 references)
target     prot opt source               destination
RETURN     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-NODE-PORT-LOCAL-TCP dst
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-NODE-PORT  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-NODE-PORT-TCP dst

5. 指定externalIP的服务

对于指定了外部IP的服务，IPVS代理将安装IPTABLES与ipset KUBE-EXTERNAL-IP匹配，假设我们有指定了外部IP的服务，IPTABLES规则应该如下所示：

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-EXTERNAL-IP dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-EXTERNAL-IP dst,dst PHYSDEV match ! --physdev-is-in ADDRTYPE match src-type !LOCAL
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-EXTERNAL-IP dst,dst ADDRTYPE match dst-type LOCAL

Kubernetes使用IPVS

安装IPVS

CentOS

yum install ipset ipvsadm -y

Ubuntu

apt-get install ipset ipvsadm -y

设置

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
sinat_40572875
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
kubernetes
08-03
非常不错的一本kubernetes书 本资源转载自网络，供学习研究之用，如用于商业用途，请购买正版，如有侵权，请联系我或CSDN删除。
ipvs.modules
12-29
kubernetes需要的ipvs模块
K8S中iptables和ipvs区别
ss810540895的博客
10-11 882
同样基于Netfilter，但是ipvs采用的hash表，iptables采用一条条的规则列表。在这种模式下，kube-proxy监听API Server中service和endpoint的变化情况，调用netlink接口创建相应的ipvs规则，并定期将ipvs规则与Kubernetes服 Services和Endpoints同步。对于每个service，它都生成相应的iptables规则，这些规则捕获到service的clusterIP和port的流量，并将这些流量随机重定向到service后端Pod。
ipvs和iptables的区别？
lbzrl的博客
04-13 375
1）实现方式：iptables是基于Netfilter框架的网络过滤工具，它使用链表（chain）和规则（rule）来处理网络数据包。2）功能：iptables主要用于实现网络地址转换（NAT）、端口转发（forwarding）、流量过滤等功能，而ipvs主要用于实现负载均衡（load balancing）和服务器健康检查（health check）。4）使用场景：iptables更适合用于防火墙、NAT和端口转发等场景，而ipvs更适合用于负载均衡和服务器集群管理。
kube-proxy中使用ipvs与iptables的比较
linus.lin的博客
10-24 6964
Iptables模式 kube-proxy 就可以通过 Service 的 Informer 感知到API Server中service和endpoint的变化情况。而作为对这个事件的响应，它就会在宿主机上创建这样一条 iptables 规则（你可以通过 iptables-save 看到它）。这些规则捕获到service的clusterIP和port的流量，并将这些流量随机重定向到service后端Pod。对于每个endpoint对象，它生成选择后端Pod的iptables规则。 如果选择的第一个Pod没有
kubernetes工作原理（二）－iptables
CodeAsWind
03-09 3140
前言 虚拟化的网络可以自由的在本地进行基于单机的网络配置或者借助一些互联技术(underlay、overlay或者点对点技术)在虚拟网络内部空间实现跨节点和数据中心的网络互联，但是如果虚拟网络内部的服务要对外进行暴露，就不得不借助地址转换或者端口转换等数据包修改技术。而在现有的container管理框架中，iptables更是承担了服务暴露和服务后端负载均衡等功能，是诸如kubernetes、O...
（六）k8s-----ipvs，iptables调度算法，DNS服务(kube-dns,coredns)
weixin_45697293的博客
07-08 928
文章目录1. 修改iptables为ipvs及调度算法2. 设置token登录会话保持时间3. session保持DNS服务：1. 部署kube-dns2. 部署coredns3. 域名解析测试 1. 修改iptables为ipvs及调度算法 https://github.com/kubernetes/kubernetes/tree/master/pkg/proxy/ipvs IPVS模式在Kubernetes v1.8中引入alpha版本，在v1.9中处于beta版本，在v1.11中处于GA(也就是rel
k8s3主1从-1.15.1-高可用搭建-ipvs模式-kubernetes高可用安装包和详细文档笔记整理
最新发布
05-27
k8s3主1从-1.15.1-高可用搭建-ipvs模式-kubernetes高可用安装包和详细文档笔记整理
kubernetes1.28.x云计算平台实战v4版本详细配置实战
12-20
Kubernetes 1.28.x 云计算平台实战 v4 版本详细配置实战 ...本文档提供了详细的 Kubernetes 1.28.x 云计算平台实战配置指南，帮助读者快速地部署和配置 Kubernetes 云计算平台，并了解 Containerd 的概念和命令实战。
Kubernetes1.9 二进制版集群安装
02-08
Kubernetes1.9 二进制版集群+ipvs+coredns 本版本用kube-router组件取代kube-proxy,用lvs做svc负载均衡，更快稳定。 用coredns取代kube-dns，更稳定。 经过测试1.9版，消除了以往的 kubelet docker 狂报错误日志的...
IPVS数据包处理流程
05-08
IPVS的IP包处理模块代码主要在ip_vs_core.c和ip_vs_conn.c两个文件中，几种调度 算法都以编译完成的模块形式存在，IPVS调度和管理的主要代码在ip_vs_sched.c文件中，配置与管理功能由提供的ipvadm工具和IPVS 内核中相应的代码共同实现。
容器云负载均衡之三：使用iptables对IPVS Direct Routing模式进行端口转换
cloudvtech的博客
05-03 2186
一、前言在cloud环境中，不是所有的application都有使用80端口这种特权端口的权限；但是在IPVS direct routing模式下，VIP监听的端口必须要保持和后端real server上的application监听的端口一致，见文章http://www.austintek.com/LVS/LVS-HOWTO/HOWTO/LVS-HOWTO.rewrite_ports.html：本...
k8s集群网络(9)-service之iptables与ipvs对比
weixin_46073333的博客
01-14 1828
在前面的几篇文章里我们介绍了基于iptables和ipvs模式下cluster ip类型的service和node port类型的service实现原理，这里我们做一下回顾总结和对比，相...
kube-proxy中iptables与ipvs对比整理
运维求生之路
08-26 3915
kube-proxy中iptables与ipvs对比整理概况iptables模式IPVS模式（NAT模式） 概况 kube-proxy负责监听API server中service和endpoint的变化情况。通过userspace、iptables、ipvs来实现service负载均衡。 这里仅对iptables和ipvs说明，userspace模式因为可靠性和性能（频繁切换内核/用户空间）早已经...
Kubernetes 1.15 环境搭建实战（iptables篇）
engchina的专栏
06-20 3687
使用 kubeadm 搭建Kubernetes 1.15单节点集群实战（基于Oracle Linux 7.6） 前提： a，安装Oracle VirtualBox，创建Oracle Linux 7.6虚机。 Oracle VirtualBox下载地址：https://www.virtualbox.org/wiki/Downloads Oracle Linux 7.6下载地址：https:/...
【Kubernetes】最佳实践1：kube-proxy与服务发现
热门推荐
《云计算架构技术与实践》
06-02 1万+
作者：彭靖田 Kubernetes的node节点主要有kubelet、kube-proxy、flannel、dockerd四个组件组成，本文主要分析kube-proxy组件的功能和原理。Pod是Kubernetes中资源分配的最小单位，也是执行任务的最小实体。 每个Pod都拥有flannel overlay network上的独立IP。node节点内pod通信由docker0网桥实现；
Kubernetes集群中的网络
Kubernetes中文社区
03-22 1785
本文从一个服务的不同访问方式入手，分析了Kubernetes集群中的网络组成，也给出了一个简单可行的网络性能评估方案。 本文适合对虚拟网桥、iptables以及Kubernetes的相关概念有了解的读者。 另外Service-Pod流量转发时提到”iptables转发”，严格说措辞不准确，因为iptables仅负责用数据库维护了Kernel中Netfilter的hook，这样表述是
Kubernetes(k8s)集群部署七、k8s网络通信+service扩展ingress（TLS，认证，地址重写）calico网络插件（允许指定pod访问服务，禁止其他namespace访问服务）
ninimino的博客
03-03 1074
k8s网络通信k8s网络通信1.容器间通信2.pod之间的通信2.1同一节点的pod2.2不同节点的pod之间的通信flannel网络原理flannel支持多种后端：3.pod和service通信4.pod和外网通信5.Service与集群外部客户端的通信ingress创建ingress服务:Ingress TLS 配置Ingress 认证配置（认证之前做好加密）Ingress地址重写calico网络插件:能够解决策略 k8s网络通信 k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有fl
k8s中iptables和ipvs选择哪个
04-28
在Kubernetes中，Iptables和IPVS都可以用于负载均衡。两者都有其优缺点。 Iptables是一个基于Linux内核的防火墙，可以通过规则匹配实现负载均衡。它适用于较小规模的集群，具有广泛的支持和易于使用的优点。但是，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sinat_40572875

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值