kubernetes工作原理（一）－利用iptables对外暴露service

最新推荐文章于 2023-05-10 17:10:33 发布
最新推荐文章于 2023-05-10 17:10:33 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： Kubernetes k8s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CodeAsWind/article/details/104755996
版权

前言

Kubernetes利用iptables达成以下两个目的：

1）对外暴露POD和服务

2）简单的负载均衡

在kubernetes worker node的iptables的NAT表的prerouting和output链表会出现如下规则作为kubernetes相关的数据包操作的入口：

-A PREROUTING -m comment --comment "kube hostport portals" -m addrtype --dst-type LOCAL -j KUBE-HOSTPORTS
-A PREROUTING -m comment --comment "kubernetes service portals" -j KUBE-SERVICES
-A PREROUTING -m comment --comment "handle ClusterIPs; NOTE: this must be before the NodePort rules" -j KUBE-PORTALS-CONTAINER
-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
-A PREROUTING -m addrtype --dst-type LOCAL -m comment --comment "handle service NodePorts; NOTE: this must be the last rule in the chain" -j KUBE-NODEPORT-CONTAINER
-A OUTPUT -m comment --comment "kube hostport portals" -m addrtype --dst-type LOCAL -j KUBE-HOSTPORTS
-A OUTPUT -m comment --comment "kubernetes service portals" -j KUBE-SERVICES
-A OUTPUT -m comment --comment "handle ClusterIPs; NOTE: this must be before the NodePort rules" -j KUBE-PORTALS-HOST
-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
-A OUTPUT -m addrtype --dst-type LOCAL -m comment --comment "handle service NodePorts; NOTE: this must be the last rule in the chain" -j KUBE-NODEPORT-HOST

PREROUTING链表用来处理外部进来的数据包

规则1 用来向使用hostport的POD转发数据包（用于IP Tables模式）

规则2 用来向kubernetes服务转发数据包（用于IPTables模式）

规则3 用来处理容器内向cluster service虚IP发出的请求（用于kube－proxy模式）

规则4 用来处理容器向nodeport发出的请求（用于kube－proxy模式）

 

OUTPUT链表用来处理发向外部的数据包

规则1 用来处理主机向host port发出的请求（用于IP Tables模式）

规则2 用来处理主机向kubernetes service发出的请求（用于IP Tables模式）

规则3 用来处理主机向cluster service 虚IP发出的请求（用于kube－proxy模式）

规则4 用来处理主机向nodeport发出的请求（用于kube－proxy模式）

 

kubernetes各种类型的服务对外暴露的顺序依次是hostport、cluster service、node external、 loadbalancer service 和nodeport service

-A KUBE-SERVICES -d cluster_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name cluster IP" -m tcp --dport 80 -j KUBE-SVC-SSSSSS
-A KUBE-SERVICES -d node_external_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name external IP" -m tcp --dport 80 -j KUBE-MARK-MASQ
-A KUBE-SERVICES -d node_external_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name external IP" -m tcp --dport 80 -m physdev ! --physdev-is-in -m addrtype ! --src-type LOCAL -j KUBE-SVC-SSSSSS
-A KUBE-SERVICES -d node_external_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name external IP" -m tcp --dport 80 -m addrtype --dst-type LOCAL -j KUBE-SVC-SSSSSS
-A KUBE-SERVICES -d loadbalancer_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name loadbalancer IP" -m tcp --dport 80 -j KUBE-FW-SSSSSS
 
-A KUBE-SERVICES -m comment --comment "kubernetes service nodeports; NOTE: this must be the last rule in this chain" -m addrtype --dst-type LOCAL -j KUBE-NODEPORTS

 

工作原理

1） cluster service 的入口是这个规则“－A［PREROUTING｜OUTPUT］-m comment --comment 'kubernetes service portals' -j KUBE_SERVICES”, 跳到KUBE-SERVICE chain

 

2）这个KUBE-SERVICE chain 由一系列满足如下规则的rule组成：

满足访问某个cluster_VIP和port的请求将会被倒入到rule KUBE-SVC-XXXXX

 

3）KUBE－SVC－XXXXXX的组成如下：

-A KUBE-SVC-XXXXXX -m comment --comment "namespace/pod_name:port_name" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-AAAAAA

-A KUBE-SVC-XXXXXX -m comment --comment "namespace/pod_name:port_name" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-BBBBBB

-A KUBE-SVC-XXXXXX -m comment --comment "namespace/pod_name:port_name" -j KUBE-SEP-CCCCCC

会按照概率对所有后端的POD进行选择转发

 

4）KUBE－SEP－CCCCC的组成如下：

-A KUBE-SEP-CCCCCC -s POD_IP/32 -m comment --comment "namespace/pod_name:port_name" -j KUBE-MARK-MASQ

-A KUBE-SEP-CCCCCC -p tcp -m comment --comment "namespace/pod_name:port_name" -m tcp -j DNAT --to-destination POD_IP:PORT

需要进行一次DNAT， 把数据包定位到选定的POD， 然后经由路由进入远端或者本地的POD

External Load balancer service如何使用iptables对外暴露POD服务

1. 经由external load balancer转发的外部请求会带有外部IP地址，这个地址会匹配如下规则：

-A KUBE-SERVICES -d loadbalancer_IP/32 -p tcp -m comment --comment "namespace/pod_name:port_name loadbalancer IP" -m tcp --dport 80 -j KUBE-FW-SSSSSS

 

2. KUBE-FW-SSSSSS组成如下：

-A KUBE-FW-SSSSSS -m comment --comment "namespace/pod_name:port_name loadbalancer IP" -j KUBE-XLB-KKKKKK

-A KUBE-FW-SSSSSS -m comment --comment "namespace/pod_name:port_name loadbalancer IP" -j KUBE-MARK-DROP

 

3.KUBE-XLB-KKKKKK由一系列概率选择规则组成：

-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 0 for namespace/pod_name:port_name" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-AAAAAA

-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 1 for namespace/pod_name:port_name" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-BBBBBB

-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 2 for namespace/pod_name:port_name" -j KUBE-SEP-CCCCCC

将数据包导到具体的POD相关iptables规则

 

4. KUBE-SEP-CCCCC的组成如下：

-A KUBE-SEP-CCCCCC -s POD_IP/32 -m comment --comment "namespace/pod_name:port_name" -j KUBE-MARK-MASQ

-A KUBE-SEP-CCCCCC -p tcp -m comment --comment "namespace/pod_name:port_name" -m tcp -j DNAT --to-destination POD_IP:PORT

需要进行一次DNAT，把数据包定位到选定POD，然后经由路由进入远端或者本地的POD

 

nodePort Service如何使用iptables对外暴露POD服务

1. KUBE-SERVICE chain的最末端将跳转到nodeport service对应的chain KUBE-NODEPORTS

-A KUBE-SERVICES -m comment --comment "kubernetes service nodeports; NOTE: this must be the last rule in this chain" -m addrtype --dst-type LOCAL -j KUBE-NODEPORTS

2. KUBE-NODEPORTS里面包含一系列不同的nodeport service对应的规则

例如：

-A KUBE-NODEPORTS -p tcp -m comment --comment "namespace/pod_name:port_name" -m tcp --dport 80 -j KUBE-XLB-KKKKKK

最后跳转到为外部访问生成的load balance规则。

 

3.KUBE-XLB-KKKKKK由一系列概率选择规则组成：

-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 0 for namespace/pod_name:port_name" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-AAAAAA

-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 1 for namespace/pod_name:port_name" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-BBBBBB

-A KUBE-XLB-KKKKKK -m comment --comment "Balancing rule 2 for namespace/pod_name:port_name" -j KUBE-SEP-CCCCCC

将数据包导到具体的POD相关iptables规则

 

4. KUBE-SEP-CCCCC的组成如下：

-A KUBE-SEP-CCCCCC -s POD_IP/32 -m comment --comment "namespace/pod_name:port_name" -j KUBE-MARK-MASQ

-A KUBE-SEP-CCCCCC -p tcp -m comment --comment "namespace/pod_name:port_name" -m tcp -j DNAT --to-destination POD_IP:PORT

 

需要进行一次DNAT，把数据包定位到选定POD，然后经由路由进入远端或者本地的POD

 

 

 

CodeAsWind
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
iptables 及iptables-service的rpm包
05-17
iptables-services-1.4.21-35.el7.x86_64 iptables-1.4.21-35.el7.x86_64 iptables-services-1.4.21-28.el7.x86_64.rpm iptables-1.4.21-16.el7.x86_64.rpm
Kubernetes 实战 （一） -- 泛 kubernates 导论
u011519105的博客
10-23 364
Kubernetes 是谷歌推出的一个工业级的容器编排平台,允许自动化部署、管理和扩容容器化应用，它现在已成为容器编排的事实标准。 目录 k8s 由来 是什么 -- 分布式集群自动（自助）化运维舵手 需求驱动 -- 微服务化后的分布式部署集群 技术驱动 -- 轻量级容器化技术 高动态集群运维抽象模型 DCOM 应用集群化部署、运维的一般流程 抽象 高动态集群运维模型 DCOM 开源实现 k8s 由来 Kubernetes 是希腊语，中文翻译是“舵手”或者“飞行员”，其实最常用...
kubernetes详细介绍
u010230019的博客
05-10 5832
k8s详细介绍
什么是Kubernetes
jiohfgj的博客
08-27 1万+
K8s-Kubernetes 1.什么是Kubernetes ​ Kubernetes是Google公司在2014年6月开源的一个容器集群管理系统，使用Go语言开发，也叫K8S。Kubernetes的目标是让部署容器化的应用简单并且高效,Kubernetes提供了应用部署，规划，更新，维护的一种机制。**Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着（**比如用户想让apache一直运行，用户不需要关心怎么去做，Kubernetes会自动
2020最新最详细K8s安装教程
热门推荐
qq_37240450的博客
09-15 4万+
环境准备 准备好4台centos7 一个为master,两个node,一个harbor（私有仓库） Master内存大小为4g,其余都为2g，这里可以先安装一台最小版，再克隆其他3台 将4台的ip设置为静态ip，互相，本地和虚拟机，虚拟机和外网都可以ping通，且保证网络畅通。 设置系统主机名以及 Host 文件的相互解析 每一台都设置 vim /etc/hostname vim /etc/hosts 192.168.137.10 k8s-master 192.168.137.20 k8s-n..
iptables规则加注释
记忆的永恒的博客
11-25 2271
iptables -A INPUT -p tcp -m tcp --dport 22 -m comment --comment "allow SSH to this host from anywhere" -j ACCEPT
k8s-(五）最全的安装教程（使用kubeadm在Centos7上部署kubernetes1.18）以及安装异常问题记录
新林的博客
11-26 3万+
k8s使用kubeadm进行安装步骤，使用kubeadm安装k8s会简单很多，一直想总结写一篇简单明了的安装教程，希望能有用。k8s在2020年初发布的第一个版本是1.18.0，目前最新版本是1.19.4，并且1.20的版本应该会在年底发布，但是我们这里安装的版本是1.18。
Kubernetes原理详解
guting18893110463的博客
03-31 487
Kubernetes是一个完备的分布式系统支撑平台。Kubernetes具有完备的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明的服务注册和服务发现机制、内建智能负载均衡器、强大的故障发现和自我修复能力、服务滚动升级和在线扩容能力、可扩展的资源自动调度机制，以及多粒度的资源配额管理能力。
kubernetes-iptables-proxy:使用iptables快速实现Kubernetes代理
05-23
设置： iptables -t nat -I PREROUTING -j my-dnatiptables -t nat -I OUTPUT -j my-dnatiptables -t nat -I POSTROUTING -j my-snat/usr/bin/docker run --name kube-iptables-proxy --privileged --...
kube-iptables-tailer：一项服务，可为您的Kubernetes集群提供更好的网络可见性
02-03
kube-iptables-tailer是一项服务，可通过检测iptables拒绝的流量并通过Kubernetes事件将相应的信息提供给受影响的Pod，从而使您更好地了解Kubernetes群集中的网络问题。 kube-iptables-tailer本身在集群中作为Pod...
iptables-services-1.4.21-17.el7.x86_64.rpm 下载
06-18
centos7 iptables-services-1.4.21-17.el7.x86_64.rpm 安装包 下载
解决docker安装完成报:bridge-nf-call-iptables is disabled问题
01-20
WARNING: bridge-nf-call-iptables is disabled WARNING: bridge-nf-call-ip6tables is disabled 2）解决方法： 修改系统文件是的机器bridge模式开启 设置机器开机启动的时候执行下面两条命令 编辑vim /etc/rc.d/rc...
kubernetes详解
此后如竟没有炬火，我便是唯一的光。
12-16 4281
kubernetes详解1. kuberenetes简介1.1什么是kubernetes1.2Kubernetes发展史1.3 Kubernetes 特点1.4 Kubernetes能做什么1.5 关键进程1.7 Pod与service2. Kubernetes的集群节点及架构2.1 控制平面的组件2.2 Kubernetes核心组件2.2.1 etcd组件2.2.2 API服务器2.2.3调度器2.2.4 控制器管理器2.2.5 Kubelet2.2.6 kube-proxy2.2.7 DNS服务器2.2
Kubernetes（一）基本概念
傅红雪的专栏
12-15 6615
1. Kubernete简介 Kubernetes 是 Google 团队发起并维护的基于 Docker 的开源容器集群管理系统，它不仅支持常见的云平台，而且支持内部数据中心。 建于 Docker 之上的 Kubernetes 可以构建一个容器的调度服务，其目的是让用户透过 Kubernetes 集群来进行云端容器集群的管理，而无需用户进行复杂的设置工作。系统会自动选取合适的工作节点来执行具体的容器集群调度处理工作。其核心概念是 Container Pod。一个 Pod 由一组工作于同一物理工作节点的容
k8s-service底层之 Iptables与 IPVS
huahua1999的博客
04-17 7392
service底层之 Iptables与 IPVS service底层实现主要由两个网络模式组成：iptables与IPVS。他们都是有kube-proxy维护 service工作流程图 Iptables 以k8s中的nginx这个service举例，这是一个nodePort类型的service 用命令 iptables-save |grep nginx 可以看到这个service中的iptables规则 找到他对外暴露的端口30601 ...
kubenetes服务发现
weixin_30872867的博客
04-18 148
kubenetes服务发现 一、基于 iptables 的 Service 实现 Pod的ip地址不是固定了。Service通过selector属性和后端Pod关联，被selector选中的Pod被称为Service的Endpoint。通过该Service的VIP地址就可以访问到它所代理的Pod。VIP地址是kubernetes自动为Serv...
【k8s】1、介绍
努力充实，远方可期
06-16 2833
第一章 kubernetes介绍 本章节主要介绍应用程序在服务器上部署方式演变以及kubernetes的概念、组件和工作原理。 应用部署方式演变 在部署应用程序的方式上，主要经历了三个时代： 传统部署：互联网早期，会直接将应用程序部署在物理机上 优点：简单，不需要其它技术的参与 缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响 虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境 优点：程序环境不会相互产生影响，提供了一定程度的安全性
Centos 部署k8s集群
CodeAsWind
02-28 5776
主机信息： master节点： 节点功能Master、etcd、Registry； 主机名： master ； IP地址：192.168.80.161 node节点： 节点功能Node1； 主机名：node1； IP地址：192.168.80.162 1: 设置机器的主机名 master主机上执行： hostnamectl --static set-hostname master...
iptables -F iptables -X iptables -Z iptables -t nat -F iptables -t nat -X iptables -t nat -Z
最新发布
11-30
以下是对iptables常用命令的介绍： 1. iptables -F：清空所有防火墙规则。 2. iptables -X：删除所有用户自定义的链。 3. iptables -Z：将所有链的所有计数器归零。 4. iptables -t nat -F：清空nat表中的所有规则。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值