kubernetes系列之一：Kubernetes如何利用iptables对外暴露service

最新推荐文章于 2024-02-23 23:58:32 发布
最新推荐文章于 2024-02-23 23:58:32 发布
阅读量4.2k 收藏 14
点赞数 1
分类专栏： 容器云的负载均衡解决方案 Kubernetes系列 文章标签： kubernetes iptables 容器 docker container网络 kubernetes service
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cloudvtech/article/details/79728920
版权
kubernetes 同时被 3 个专栏收录
56 篇文章 11 订阅
订阅专栏
容器网络
30 篇文章 2 订阅
订阅专栏
container
25 篇文章 0 订阅
订阅专栏

一、前言

Kubernetes利用iptables达成以下两个目的：

  • 对外暴露POD和服务(通过host port、cluster service、node external IP、external load balancer、node port)
  • 简单的负载均衡

在Kubernetes worker node的iptables的NAT表的prerouting和output 链表会出现如下规则作为kubernetes相关的数据包操作的入口：

  1. -A PREROUTING -m comment --comment "kube hostport portals" -m addrtype --dst-type LOCAL -j KUBE-HOSTPORTS
  2. -A PREROUTING -m comment --comment "kubernetes service portals" -j KUBE-SERVICES
  3. -A PREROUTING -m comment --comment "handle ClusterIPs; NOTE: this must be before the NodePort rules" -j KUBE-PORTALS-CONTAINER
  4. -A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
  5. -A PREROUTING -m addrtype --dst-type LOCAL -m comment --comment "handle service NodePorts; NOTE: this must be the last rule in the chain" -j KUBE-NODEPORT-CONTAINER
  6. -A OUTPUT -m comment --comment "kube hostport portals" -m addrtype --dst-type LOCAL -j KUBE-HOSTPORTS
  7. -A OUTPUT -m comment --comment "kubernetes service portals" -j KUBE-SERVICES
  8. -A OUTPUT -m comment --comment "handle ClusterIPs; NOTE: this must be before the NodePort rules" -j KUBE-PORTALS-HOST
  9. -A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
  10. -A OUTPUT -m addrtype --dst-type LOCAL -m comment --comment "handle service NodePorts; NOTE: this must be the last rule in the chain" -j KUBE-NODEPORT-HOST

PREROUTING链表用来处理外部进来的数据包(包括来自外部网络的和来自本机container的)

规则1 用来向使用hostport的POD转发数据包 (用于IPTables模式)

规则2 用来向kubernetes服务(cluster service/nodeport service/load balancer service)转发数据包 (用于IPTables模式)

规则3 用来处理容器内向cluster service虚IP发出的请求 (用于kube-proxy模式)

规则5 用来处理容器向nodeport发出的请求 (用于kube-proxy模式)


OUTPUT链表用来处理发向外部的数据包(包括发到外部网络的和发到本机上container的)

规则6 用来处理主机向host port发出的请求 (用于IPTables模式)

规则7 用来处理主机向kubernetes service发出的请求 (用于IPTables模式)

规则8 用来处理主机向cluster service虚IP发出的请求 (用于kube-proxy模式)

规则10 用来处理主机向nodeport发出的请求 (用于kube-proxy模式)


kubernetes各种类型的服务对外暴露的顺序依次是hostport、cluster service、node external、loadbalancer service和nodeport service。

-A KUBE-SERVICES -d cluster_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name cluster IP" -m tcp --dport 80 -j KUBE-SVC-SSSSSS
-A KUBE-SERVICES -d node_external_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name external IP" -m tcp --dport 80 -j KUBE-MARK-MASQ
-A KUBE-SERVICES -d node_external_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name external IP" -m tcp --dport 80 -m physdev ! --physdev-is-in -m addrtype ! --src-type LOCAL -j KUBE-SVC-SSSSSS
-A KUBE-SERVICES -d node_external_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name external IP" -m tcp --dport 80 -m addrtype --dst-type LOCAL -j KUBE-SVC-SSSSSS
-A KUBE-SERVICES -d loadbalancer_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name loadbalancer IP" -m tcp --dport 80 -j KUBE-FW-SSSSSS

-A KUBE-SERVICES -m comment --comment "kubernetes service nodeports; NOTE: this must be the last rule in this chain" -m addrtype --dst-type LOCAL -j KUBE-NODEPORTS

转载自https://blog.csdn.net/cloudvtech


二、cluster service如何使用iptables对外暴露POD服务

1. cluster service的入口是这个规则"-A [PREROUTING|OUTPUT] -m comment --comment "kubernetes service portals" -j KUBE-SERVICES"，跳到KUBE-SERVICE chain

2. 这个KUBE-SERVICE chain由一些列满足如下规则的rule组成：

满足访问某个cluster_VIP和port的请求将会被倒入到rule KUBE-SVC-XXXXXX

-A KUBE-SERVICES -d cluster_VIP/32 -p tcp -m comment --comment "namespace/pod_name:port_name cluster IP" -m tcp --dport service_port -j KUBE-SVC-XXXXXX

3. KUBE-SVC-XXXXXX的组成如下：

-A KUBE-SVC-XXXXXX -m comment --comment "namespace/pod_name:port_name" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-AAAAAA
-A KUBE-SVC-XXXXXX -m comment --comment "namespace/pod_name:port_name" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-BBBBBB
-A KUBE-SVC-XXXXXX -m comment --comment "namespace/pod_name:port_name" -j KUBE-SEP-CCCCCC


会按照概率对所有后端的POD进行选择转发

4. KUBE-SEP-CCCCC的组成如下：

-A KUBE-SEP-CCCCCC -s POD_IP/32 -m comment --comment "namespace/pod_name:port_name" -j KUBE-MARK-MASQ

-A KUBE-SEP-CCCCCC -p tcp -m comment --comment "namespace/pod_name:port_name" -m tcp -j DNAT --to-destination POD_IP:PORT

需要进行一次DNAT，把数据包定位到选定POD，然后经由路由进入远端或者本地的POD

转载自https://blog.csdn.net/cloudvtech

三、external load balancer serice如何使用iptables对外暴露POD服务

1. 经由external load balancer转发的外部请求会带有外部IP地址，这个地址会匹配如下规则： 
-A KUBE-SERVICES -d loadbalancer_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name loadbalancer IP" -m tcp --dport 80 -j KUBE-FW-SSSSSS

2. KUBE-FW-SSSSSS组成如下：

-A KUBE-FW-SSSSSS -m comment --comment "namespace/pod_name:port_name loadbalancer IP" -j KUBE-XLB-KKKKKK
-A KUBE-FW-SSSSSS -m comment --comment "namespace/pod_name:port_name loadbalancer IP" -j KUBE-MARK-DROP

会jump到为external访问生成的load balance规则KUBE-XLB-KKKKKK

3.KUBE-XLB-KKKKKK由一系列概率选择规则组成：

-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 0 for namespace/pod_name:port_name" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-AAAAAA
-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 1 for namespace/pod_name:port_name" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-BBBBBB
-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 2 for namespace/pod_name:port_name" -j KUBE-SEP-CCCCCC

将数据包导到具体的POD相关iptables规则

4. KUBE-SEP-CCCCC的组成如下：

-A KUBE-SEP-CCCCCC -s POD_IP/32 -m comment --comment "namespace/pod_name:port_name" -j KUBE-MARK-MASQ
-A KUBE-SEP-CCCCCC -p tcp -m comment --comment "namespace/pod_name:port_name" -m tcp -j DNAT --to-destination POD_IP:PORT

需要进行一次DNAT，把数据包定位到选定POD，然后经由路由进入远端或者本地的POD

转载自https://blog.csdn.net/cloudvtech


四、nodePort serice如何使用iptables对外暴露POD服务

1. KUBE-SERVICE chain的最末端将跳转到nodeport service对应的chain KUBE-NODEPORTS

-A KUBE-SERVICES -m comment --comment "kubernetes service nodeports; NOTE: this must be the last rule in this chain" -m addrtype --dst-type LOCAL -j KUBE-NODEPORTS

2. KUBE-NODEPORTS里面包含一系列不同的nodeport service对应的规则
例如： 
-A KUBE-NODEPORTS -p tcp -m comment --comment "namespace/pod_name:port_name" -m tcp --dport 80 -j KUBE-XLB-KKKKKK
最后跳转到为外部访问生成的load balance规则。

3.KUBE-XLB-KKKKKK由一系列概率选择规则组成： 
-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 0 for namespace/pod_name:port_name" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-AAAAAA
-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 1 for namespace/pod_name:port_name" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-BBBBBB
-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 2 for namespace/pod_name:port_name" -j KUBE-SEP-CCCCCC

将数据包导到具体的POD相关iptables规则

4. KUBE-SEP-CCCCC的组成如下：

-A KUBE-SEP-CCCCCC -s POD_IP/32 -m comment --comment "namespace/pod_name:port_name" -j KUBE-MARK-MASQ
-A KUBE-SEP-CCCCCC -p tcp -m comment --comment "namespace/pod_name:port_name" -m tcp -j DNAT --to-destination POD_IP:PORT

需要进行一次DNAT，把数据包定位到选定POD，然后经由路由进入远端或者本地的POD

转载自https://blog.csdn.net/cloudvtech


cloudvtech
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux两堵墙之一：iptables
01-09
防火墙的作用 众所周知，相较于企业内网，外部的公网环境更加恶劣，罪恶丛生。在公网与企业内网之间充当保护屏障的防火墙。虽然有软件或硬件之分，但主要功能都是依据策略对穿越防火墙自身的流量进行过滤。防火墙策略可以基于流量的源目地址、端口号、协议、应用等信息来定制，然后防火墙使用预先定制的策略规则监控出入的流量，若流量与某一条策略规则相匹配，则执行相应的处理，反之则丢弃。这样一来，就可以保证仅有合法的流量在企业内网和外部公网之间流动了。 我们要知道，iptables与firewalld都不是真正的防火墙，它们都只是用来定义防火墙策略的防火墙管理工具而已，或者说，它们只是一种服务。iptables服务会
kube-iptables-tailer：一项服务，可为您的Kubernetes集群提供更好的网络可见性
02-03
kube-iptables-tailer kube-iptables-tailer是一项服务，可通过检测iptables拒绝的流量并通过Kubernetes事件将相应的信息提供给受影响的Pod，从而使您更好地了解Kubernetes群集中的网络问题。 kube-iptables-tailer本身在集群中作为Pod运行，并且它一直在监视iptables日志文件中的更改。 如果您的iptables规则拒绝了往返Pod的流量，则iptables将丢弃该数据包，并在主机上记录日志记录以及相关信息。 kube-iptables-tailer能够检测到这些更改，然后它将尝试通过其IP查找发送方和接收方（在集群中运行Pod时）。 对于与群集中的任何Pod不匹配的IP，将执行DNS查找以使主题参与数据包丢弃。 结果，kube-iptables-tailer将几乎实时地将事件提交到成功位于集群内部的Pod。 因此，Pod所有者可以通过运行以下命令来了解iptables数据包丢弃： $ kubectl describe pods --namespace=YOUR_NAMESPACE ... Eve
k8s的svc流量通过iptables和ipvs转发到pod的流程解析
最新发布
李姓门徒
02-23 1416
在常用的k8s环境中，通常会通过iptables将流量进行负载均衡、snat、dnat等操作，从而流量转发到pod或者外部的服务。本文重点介绍iptables是如何进行流量转发的以及相关转发的iptables解析。
iptables 及iptables-service的rpm包
05-17
iptables-services-1.4.21-35.el7.x86_64 iptables-1.4.21-35.el7.x86_64 iptables-services-1.4.21-28.el7.x86_64.rpm iptables-1.4.21-16.el7.x86_64.rpm
iptables详解：图文并茂理解iptables.pdf
05-18
iptables 防火墙 linux
kubernetes应用部署原理
weixin_34362875的博客
06-13 257
Kubernetes应用部署模型解析（原理篇） 十多年来Google一直在生产环境中使用容器运行业务，负责管理其容器集群的系统就是Kubernetes的前身Borg。其实现在很多工作在Kubernetes项目上的Google开发者先前就在Borg这个项目上工作。多数Kubernetes的应用部署模型的思想都起源于Borg,了解这些模型是掌握Kubernetes的关键。Kubernetes的AP...
Kubernetes架构简述及各部件介绍
flat0809的博客
11-26 885
本文是笔者在学习kubernetes时的学习笔记，主要是为了理清自己对k8s架构的认识，文中将先从k8s的整体架构出发，再逐一分析各个部件，最后对各个部件的协作作出分析 目录 ·初步认识k8s架构 ·k8s中各个部件的分析 ·部件间协作的分析 第一部分：k8s整体架构 ...
通过iptables来限制K8S的nodeport
weixin_44207346的博客
03-24 1548
外部主机访问master01:30090->NAT表PREROUTING->NAT表KUBE-SERVICES(因为不是CLUSTER_IP,因此不用判断，直接进入下一步)->NAT表KUBE-NODE-PORT->NAT表KUBE-MARK-MASQ->NAT表KUBE-SVC-UVFA6R2T7DODYNMU->DNAT把该主机的30090端口的访问转发至->10.233.10.67:443上。IP，即就是通过DNAT把该主机的30090端口的访问转发至->10.233.10.67:443上。
k8s中iptables与ipvs详解——2023.05
我是小bā吖的博客
05-30 3543
从k8s的1.8版本开始，kube-proxy引入了IPVS模式，IPVS模式与iptables同样基于Netfilter，但是ipvs采用的hash表，iptables采用一条条的规则列表。iptables又是为了防火墙设计的，集群数量越多iptables规则就越多，而iptables规则是从上到下匹配，所以效率就越是低下。因此当service数量达到一定规模时，hash查表的速度优势就会显现出来，从而提高service的服务性能。
覆盖网络(Overlay Network)
Be a learner Not a knower.
04-25 4386
OVERLAY NETWORK最早受到关注始自P2P,在此之前，尽管类似隧道、vpn的技术已经具备了OVERLAY的特征，但是波澜不兴，中规中矩，到了P2P，天翻地覆，颠覆性技术横空出世，人们开始正视OVERLAY的威力。   通常，OVERLAY NETWORK要比基础网络简单，至少从复杂性上来说，P2P、ALM这些网络现在还不能与互联网相提并论，以后也不大可能。原因比较简单，基础网
kubeproxy和service dns整体原理
StackFlow的博客
07-16 1094
ClusterIP方式访问的入口链；：NodePort方式访问的入口链；KUBE-SVC-*：相当于一个负载均衡器，将数据包平均分发给KUBE-SEP-*链；KUBE-SEP-*：通过DNAT将Service的目的IP和端口，替换为后端Pod的IP和端口，从而将流量转发到后端Pod。：通过对路由到其他节点的数据包进行SNAT，使其能够原路返回。对于NodePort类型的service，如果本节点上没有目的Pod，则本节点起到的是网关的作用，将数据路由到其他节点。在这种情况下，
kubernetes-iptables-proxy:使用iptables快速实现Kubernetes代理
05-23
这是使用iptables规则的Kubernetes代理的快速实现。 设置： iptables -t nat -I PREROUTING -j my-dnatiptables -t nat -I OUTPUT -j my-dnatiptables -t nat -I POSTROUTING -j my-snat/usr/bin/docker run --name ...
kube-router：Kube-router，Kubernetes网络的交钥匙解决方案
02-02
Kube-router是Kubernetes网络的交钥匙解决方案，旨在提供操作简便性和高性能。 主要特征 kube-router可以完成所有工作。 启用所有功能后，kube-router是典型的Kubernetes集群中使用的几个网络组件的精简而强大的...
nfproxy:基于nftables的kubernetes代理
05-28
基于nftables的kubernetes代理功能目标nfproxy的目标是提供同时支持ipv4和ipv6的高性能和可扩展的kubernetes代理。 就功能而言，nfproxy不是kube-proxy（iptables）的1：1副本。 如果nfproxy违反了nfproxy的设计原则...
easy-firewall:一种管理 iptables 防火墙的好方法
06-03
易防火墙##管理您的 iptables 防火墙的好方法用更少的标志/参数在 Linux 中管理防火墙的另一种方法。 专为 Linux 新手设计。 当然，如果你需要做更多脚本实际做的事情，你应该使用 iptables 命令。 Easy-Firewall ...
iptables_Semantics：经过验证的iptables防火墙规则集分析
02-04
iptables_语义 Linux netfilter iptables防火墙的形式语义。 用交互式证明助手编写。 它具有 IPv4 / IPv6地址的真实模型为32位/ 128位机器字。 可执行代码。 支持iptables过滤器表中的所有常见操作：ACCEPT，DROP...
K8S kube-proxy iptables 原理分析
shufanhao.top Blog
01-29 4894
文章目录Precondition什么是 Kube ProxyKube Proxy 原理搭建一个GuestBook 例子分析iptables1. 创建iptables实现外方通过nodePort访问2. 分析k8s的 iptables2.1 集群内部通过cluster ip 访问到Pod2.2 集群外部通过node ip 访问到PodRefer Precondition 要理解这篇文章之前，需要先对...
k8s-kube-proxy运行机制分析
hahachenchen789的博客
06-09 4458
在每个Node上都会运行一个kube-proxy服务进程，这个进程可以看做service的透明代理和负载均衡器。其核心功能是将某个service的访问请求转发到后端的某个Pod上。对每一个TCP类型的service，kube-proxy都会在本地Node上建立一个socketserver来负责接收请求，然后均匀发送到后端某个Pod端口上。这个过程默认采用Round Robin负载均衡算法。此外，s...
看过最详细的Kube-proxy的iptables模式原理详解
热门推荐
zhangxiangui40542的专栏
03-08 2万+
Kubernetes如何利用iptables 原文地址 Linux内置的防火墙可以对IP数据包做一系列如过滤、更改、转发这样的操作，防火墙在对数据包做过滤决定时，有一套遵循的规则，这些规则存储在专用的数据包过滤表（table）中，而这些表集成在Linux 内核中。在数据包过滤表中，规则被分组放在我们所谓的链（chain）中。 我们通常说的iptables就是指Linux内置的防火墙，它实际上...
Failed to restart iptables.service: Unit iptables.service not found
10-06
在CentOS 7中，Failed to restart iptables.service: Unit iptables.service not found的错误是因为CentOS 7默认使用firewalld防火墙管理工具，而不是iptables。因此，如果你想使用iptables，你需要先停止或禁用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值