K8s-----网络插件之Flannel

最新推荐文章于 2024-06-26 16:43:14 发布
最新推荐文章于 2024-06-26 16:43:14 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： 企业部分 K8s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41582883/article/details/113982152
版权

K8s-----网络插件之Flannel

k8s

k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel，calico等。

CNI插件存放位置：/etc/cni/net.d/10-flannel.conflist

插件使用的解决方案如下：
虚拟网桥，虚拟网卡，多个容器共用一个虚拟网卡进行通信。
多路复用：MacVLAN，多个容器共用一个物理网卡进行通信。
硬件交换：SR-LOV，一个物理网卡可以虚拟出多个接口，这个性能最好。

（1）容器间通信：同一个pod内的多个容器间的通信，通过lo即可实现

（2）pod之间的通信

  • 同一节点的pod之间通过cni网桥转发数据包
    查看pod的信息：kubectl get pod -o wide

在这里插入图片描述

  • 查看server3的cni0的ip地址: ip addr

在这里插入图片描述

  • 不同节点的pod之间的通信需要网络插件支持

flannel支持多种后端：

Vxlan
vxlan			//报文封装，默认
Directrouting		//直接路由，跨网段使用vxlan，同网段使用host-gw模式。
host-gw：		//主机网关，性能好，但只能在二层网络中，不支持跨网络，				如果有成千上万的Pod，容易产生广播风暴，不推荐
UDP：			//性能差，不推荐

1 VXLAN模式

1.1 什么是VXLAN？

  • VXLAN，即Virtual Extensible
    LAN（虚拟可扩展局域网），是Linux本身支持的一网种网络虚拟化技术。VXLAN可以完全在内核态实现封装和解封装工作，从而通过“隧道”机制，构建出覆盖网络（Overlay
    Network）

1.2 VXLAN的设计思想

  • 在现有的三层网络之上，“覆盖”一层虚拟的、由内核VXLAN模块负责维护的二层网络，使得连接在这个VXLAN二层网络上的“主机”（虚拟机或容器都可以），可以像在同一个局域网（LAN）里那样自由通信。

    为了能够在二nfcu网络上打通“隧道”，VXLAN会在宿主机上设置一个特殊的网络设备作为“隧道”的两端，叫VTEP：VXLAN Tunnel End Point（虚拟隧道端点）
    VTEP设备之间通过二层数据桢进行通信。源VTEP设备收到原始IP包后，在上面加上一个目的MAC地址，封装成一个导去数据桢，发送给目的VTEP设备（获取 MAC地址需要通过三层IP地址查询，这是ARP表的功能）

  • 跨主机通信：src：10.244.1.72（server3）——> dest：10.244.2.51（server4）

在这里插入图片描述

  • VTEP：VXLAN Tunnel End Point（虚拟隧道端点），在Flannel中VNI的默认值是1，这也是为什么宿主机的VTEP设备都叫flannel.1的原因
  • Cni0: 网桥设备，每创建一个pod都会创建一对 veth pair。其中一端是pod中的eth0，另一端是Cni0网桥中的端口（网卡）
  • Flannel.1: TUN设备(虚拟网卡)，用来进行 vxlan报文的处理（封包和解包）。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端
  • Flanneld：flannel在每个主机中运行flanneld作为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库，为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息。
[root@server2 ~]# cat /run/flannel/subnet.env 
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true
[root@server3 ~]# cat /run/flannel/subnet.env
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.1.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true
[root@server4 ~]# cat /run/flannel/subnet.env
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.2.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

[root@server2 ~]# ip n
172.25.12.4 dev eth0 lladdr 52:54:00:22:7c:e4 REACHABLE
172.25.12.12 dev eth0  FAILED
172.25.12.3 dev eth0 lladdr 52:54:00:a4:e5:8b REACHABLE
10.244.0.5 dev cni0 lladdr 86:b5:46:0a:27:34 REACHABLE
10.244.1.0 dev flannel.1 lladdr 36:79:d5:d3:b1:93 PERMANENT
10.244.0.4 dev cni0 lladdr 8e:de:a4:d2:6e:77 REACHABLE
172.25.12.250 dev eth0 lladdr 34:17:eb:86:7b:bb REACHABLE
172.25.12.1 dev eth0 lladdr 52:54:00:f5:79:62 STALE
10.244.2.0 dev flannel.1 lladdr 6e:6f:18:32:65:7a PERMANENT

在这里插入图片描述

1.3 VXLAN模式跨主机通信的实验

src：10.244.1.72（server3） ——>dest:10.244.2.51（server4）

（1）当容器发送IP包，通过veth pair 发往cni网桥，再路由到本机的flannel.1设备进行处理。

（2）VTEP设备之间通过二层数据帧进行通信，源VTEP设备收到原始IP包后，在上面加上一个目的MAC地址，封装成一个内部数据帧，发送给目的VTEP设备。

  • server3通过缓存获取server4 flannel.1的mac地址：ip n

在这里插入图片描述

  • server4：ip dddr查看server4的flannel.1的mac地址

在这里插入图片描述

（3）内部数据桢并不能在宿主机的二层网络传输，Linux内核还需要把它进一步封装成为宿主机的一个普通的数据帧，承载着内部数据帧通过宿主机的eth0进行传输

Linux会在内部数据帧前面，加上一个VXLAN头，VXLAN头里有一个重要的标志叫VNI，它是VTEP识别某个数据桢是不是应该归自己处理的重要标识。

flannel.1设备只知道另一端flannel.1设备的MAC地址，却不知道对应的宿主机地址是什么。在linux内核里面，网络设备进行转发的依据，来自FDB的转发数据库，这个flannel.1网桥对应的FDB信息，是由flanneld进程维护

  • bridge fdb：获取目的flannel.1的mac地址对应的eth0的ip地址

在这里插入图片描述
linux内核在IP包前面再加上二层数据帧头，把目标节点的MAC地址填进去，MAC地址从宿主机的ARP表获取

  • 获取server4的eth0对应ip地址的mac地址

在这里插入图片描述

  • 查看server4的etho的ip地址对应的mac地址

在这里插入图片描述
（4）此时flannel.1设备就可以把这个数据帧从eth0发出去，再经过宿主机网络来到目标节点的eth0设备。目标主机内核网络栈会发现这个数据帧有VXLAN Header，并且VNI为1，Linux内核会对它进行拆包，拿到内部数据帧，根据VNI的值，交给本机flannel.1设备处理,flannel.1拆包，根据路由表发往cni网桥，最后到达目标容器

  • server4:ip addr

在这里插入图片描述
不同节点的pod之间的通信

在这里插入图片描述

  • 抓包：tcpdump -i eth0 -nn host 172.25.12.4

在这里插入图片描述

2 host-gw

2.1 工作原理

howt-gw模式的工作原理，就是将每个Flannel子网的下一跳，设置成了该子网对应的宿主机的IP地址，也就是说，宿主机（host）充当了这条容器通信路径的“网关”（Gateway），这正是host-gw的含义所有的子网和主机的信息，都保存在Etcd中，flanneld只需要watch这些数据的变化 ，实时更新路由表就行了。

核心是IP包在封装成桢的时候，使用路由表的“下一跳”设置上的MAC地址，这样可以经过二层网络到达目的宿主机

在这里插入图片描述

2.2 实验

  • 配置flannel：kubectl -n kube-system edit cm kube-flannel-cfg

在这里插入图片描述

  • 查看 kube-system中pod的信息：kubectl -n kube-system get pod
  • 更新kube-flannel pod：
kubectl get pod -n kube-system |grep kube-flannel| awk '{system("kubectl delete pod "$1" -n kube-system")}'

在这里插入图片描述
在这里插入图片描述

  • 查看网关：route -n，自动为创建的服务在节点上添加网关
[root@server2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.25.12.250   0.0.0.0         UG    100    0        0 eth0
10.244.0.0      0.0.0.0         255.255.255.0   U     0      0        0 cni0
10.244.1.0      172.25.12.3     255.255.255.0   UG    0      0        0 eth0
10.244.2.0      172.25.12.4     255.255.255.0   UG    0      0        0 eth0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
172.25.12.0     0.0.0.0         255.255.255.0   U     100    0        0 eth0

3 直接路由

跨网段使用vxlan，同网段使用host-gw模式

（1）更改flannel插件的配置：kubectl -n kube-system edit cm kube-flannel-cfg

在这里插入图片描述
（2）使更改的配置生效：kubectl get pod -n kube-system |grep kube-flannel | awk '{system("kubectl delete pod "$1" -n kube-system")}'

在这里插入图片描述

（3）测试：

  • 在容器内测试：kubectl attach demo -c demo -it
ping 10.244.1.72

在这里插入图片描述

抓包：tcpdump -i eth0 -nn icmp，跨网段使用vxlan

在这里插入图片描述

KKang@
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
k8s-flannel网络Node上限突破255
Levin的技术工厂
10-12 1233
在之前的文章中描述了高可用的k8s集群如何搭建,并且是基于flannel的,flannel如果采用默认配置那么集群的Node上线只有255个,在多的话port就不够了,只所以这样取决于podPort数的权衡,默认的情况Node上的pod数是可以存在很多的,但是在某些情况下,Node中的Port数并不需要很多,需要的是一个Node很多的k8s集群,那么我们就需要调整flannel的配置,如果调整的话那么Node的状态会一直处于NotReady并且查看Flannel的日志为 Error registering
K8S核心插件-Flannel网络插件
风水道人
05-01 3186
K8S(03)核心插件-Flannel网络插件
k8s安装网络插件-flannel
热门推荐
蛋疼的NICK
06-13 1万+
k8s安装网络插件-flannel
k8s及常用对象简介
最新发布
yogima的博客
06-26 1233
Pod 所建模的是特定于应用的“逻辑主机”，其中包含一个或多个应用容器， 这些容器是相对紧密的耦合在一起的。在非云环境中，在相同的物理机或虚拟机上运行的应用类似于 在同一逻辑主机上运行的云应用。ReplicaSet可以看作是Deployment控制器的底层组件，专注于维护Pod的副本数量，确保集群中的Pod实例始终符合用户定义的期望状态。假设现在有三个pod 分别为：web-0、web-1、web-2，如果删除web-1，sts会重新调度生成一个新的web-1，之前的pod保持不变。
k8s----flannel部署详解
weixin_50345059的博客
03-23 2935
k8s----flannel部署详解docker引擎部署 docker引擎部署 所有node节点部署docker引擎 关闭防火墙 [root@server1 ~]# systemctl stop firewalld [root@server1 ~]# setenforce 0 [root@server1 ~]# vi /etc/resolv.conf nameserver 8.8.8.8 安装依赖包 [root@server1 ~]# yum install -y yum-utils device
k8s网络插件-flannel
jingzhiz 专属移动笔记
07-08 840
一、Bridge网络介绍 1.网络模型图 2.Bridge网络的构建过程，对上图的各个网络名称做解释说明 (1)安装Docker时，创建一个名为docke0的虚拟网桥，虚拟网桥使用“10.0.0.0-10.255.255.255 “、”172.16.0.0-172.31.255.255″和“192.168.0.0——192.168.255.255”这三个私有网络的地址范围。 通过 ifconf...
k8s-kubernetes--网络策略、flannel网络插件和calico网络插件
Gong_yz的博客
03-12 4299
网络策略通过网络插件来实现。要使用网络策略，你必须使用支持 NetworkPolicy 的网络解决方案。 创建一个 NetworkPolicy 资源对象而没有控制器来使它生效的话，是没有任何作用的。(Flannel不支持 NetworkPolicy，所以使用Flannei网络插件是不会隔离pod的)
k8s 网络插件 kube-flannel.yml
方圆师兄
05-19 566
通过 wget 会下载失败 那就 touch 一个 把下边复制过去 wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml 获取容器 kubectl apply -f kube-flannel.yml --- apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: name: psp.flannel.un
K8S-核心插件flannel部署
jzyue
11-03 725
一、CNI网络插件 kubernetes设计了网络模型，但是pod之间通信的具体实现交给了CNI往插件。常用的CNI网络插件有：Flannel 、Calico、Canal、Contiv等，其中Flannel和Calico占比接近80%，Flannel占比略多于Calico。本次部署使用Flannel作为网络插件。 二、安装Flannel github地址：https://github.com/coreos/flannel/releases 设计主机：172.16.1.53和172.16.1.54 [root
搭建k8s集群时，用到了网络插件flannel，kube-flannel.yml下载不到怎么办？
玩火的稻草人的博客
05-09 1103
kube-flannel.yml文件在国外服务器上，搭建k8s集群时可以使用kube-flannel.yml下载不到， 内容如下，自己复制下去用就行 apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: name: psp.flannel.unprivileged annotations: seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/def
K8s-----（七）Ingress服务
qq_41582883的博客
02-27 5764
一种全局的、为了代理不同后端 Service 而设置的负载均衡服务，就是 Kubernetes 里的Ingress 服务。 Ingress由两部分组成：Ingress controller和Ingress服务。 Ingress Controller 会根据你定义的 Ingress 对象，提供对应的代理能力。业界常用的各种反向代理项目，比如 Nginx、HAProxy、Envoy、Traefik 等，都已经为Kubernetes 专门维护了对应的 Ingress Controller。 https://kub
K8s------Metrics-Server资源监控
qq_41582883的博客
03-04 4426
Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。 容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。 Metrics API 只可以查询当前的度量数据，并不保存历史数据。 Metrics API URI 为 /apis/metrics.k8s.io/，在 k8s.io/metrics 维护。 必须部署 metrics-s
K8s存储-----（二）Secret配置管理
qq_41582883的博客
03-01 3311
kubectl get sa kubectl describe sa default kubectl get secrets kubectl get pod kubectl describe pod demo-5756f5b97-xwv46 ## 在容器内执行指令 [root@server2 mnt]# kubectl exec demo-5756f5b97-xwv46 -- ls /var/run/secrets/kubernetes.io/serviceaccount ca.crt namesp
K8s-----（五）探针的使用
qq_41582883的博客
02-26 2606
kubelet 使用存活探测器来知道什么时候要重启容器。 例如，存活探测器可以捕捉到死锁（应用程序在运行，但是无法继续执行后面的步骤）。 这样的情况下重启容器有助于让应用程序在有问题的情况下更可用。 kubelet 使用就绪探测器可以知道容器什么时候准备好了并可以开始接受请求流量， 当一个 Pod 内的所有容器都准备好了，才能把这个 Pod 看作就绪了。 这种信号的一个用途就是控制哪个 Pod 作为 Service 的后端。 在 Pod 还没有准备好的时候，会从 Service 的负载均衡器中被剔除的。 k
K8s------Metallb实现Load Balancer服务
qq_41582883的博客
03-01 2187
https://metallb.universe.tf/installation/ kubectl edit configmap -n kube-system kube-proxy kubectl get pod -n kube-system |grep kube-proxy | awk ‘{system(“kubectl delete pod “$1” -n kube-system”)}’ wget https://raw.githubusercontent.com/metallb/metallb/v
私有代码管理平台（Gitlab）和自动化部署平台（Jenkins）的搭建
qq_41582883的博客
03-13 1536
yum install -y git [root@server1 ~]# mkdir test [root@server1 ~]# cd test/ [root@server1 test]# git init Initialized empty Git repository in /root/test/.git/ [root@server1 test]# ls -a . .. .git [root@server1 test]# cd .git/ [root@server1 .git]# ls branc
K8s-----（六）Service的类型
qq_41582883的博客
02-27 1428
Service 是由 kube-proxy 组件，加上 iptables 来共同实现的. kube-proxy 通过 iptables 处理 Service 的过程，需要在宿主机上设置相当多的 iptables 规则，如果宿主机有大量的Pod，不断刷新iptables规则，会消耗大量的CPU资源 kubectl create deployment nginx --image=myapp:v1 --replicas=3 kubectl expose deployment nginx --port=80 ku
K8s-------kubeapps的部署和应用
qq_41582883的博客
03-08 1373
这里写自定义目录标题 helm pull bitnami/kubeapps vim helm/kubeapps/values.yaml vim helm/kubeapps/charts/postgresql/values.yaml kubectl create namespace kubeapps helm install kubeapps -n kubeapps . kubectl -n kubeapps get sa kubectl create serviceaccount kubeapps-o
k8s网络插件-flannel 部署
06-28
### 回答1： k8s网络插件-flannel 部署： 1. 安装etcd Flannel需要etcd来存储网络配置信息，因此需要先安装etcd。可以使用以下命令安装： ``` $ sudo apt-get update $ sudo apt-get install etcd ``` 2. 下载flannel二进制文件 可以从github上下载flannel的二进制文件，例如： ``` $ wget https://github.com/coreos/flannel/releases/download/v.13.1/flannel-v.13.1-linux-amd64.tar.gz $ tar -zxvf flannel-v.13.1-linux-amd64.tar.gz ``` 3. 部署flannel 可以使用以下命令部署flannel： ``` $ sudo ./flanneld --etcd-endpoints=http://<etcd-ip>:2379 --iface=<interface> ``` 其中，`<etcd-ip>`是etcd的IP地址，`<interface>`是flannel要使用的网络接口。 4. 配置kubelet 在每个节点上，需要配置kubelet以使用flannel。可以在kubelet的启动参数中添加以下参数： ``` --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin ``` 5. 部署flannel网络 可以使用以下命令部署flannel网络： ``` $ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml ``` 6. 验证flannel网络 可以使用以下命令验证flannel网络是否正常： ``` $ kubectl get pods --all-namespaces -o wide ``` 如果所有的pod都处于Running状态，则说明flannel网络已经正常部署。 ### 回答2： 在Kubernetes集群中，网络插件是一个非常重要的组件，负责实现集群中各个节点之间的通信，同时也支持容器和宿主机之间的通信。Flannel就是一款常见的Kubernetes网络插件，下面将为你介绍Flannel如何部署。 1. 编写Flannel配置文件 在部署Flannel之前，需要先编写Flannel的配置文件。创建一个yaml文件，填写以下内容： ``` apiVersion: v1 kind: ConfigMap metadata: name: kube-flannel-cfg namespace: kube-system data: cni-conf.json: | { "name": "cbr0", "plugins": [ { "type": "flannel", "delegate": { "hairpinMode": true, "isDefaultGateway": true } }, { "type": "portmap", "capabilities": { "portMappings": true } } ] } ``` 保存文件为flannel-config.yaml。 2. 创建Flannel服务账号 创建一个服务账号，运行以下命令： ``` kubectl apply -f https:/raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml ``` 这个命令将会自动部署Flannel服务并创建相关资源。 3. 部署Flannel 接下来，运行以下命令来部署Flannel： ``` kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml ``` 这个命令会创建一个DeamonSet对象，这个对象会在集群中的每个节点上运行一个Flannel容器。 4. 验证Flannel部署 在完成Flannel安装之后，可以通过运行以下命令来检查是否一切顺利： ``` kubectl get pods -n kube-system ``` 如果输出结果中包含有flannel开头的Pod，则表示Flannel已经成功部署。 总结 刚才我们介绍了如何在Kubernetes集群中部署Flannel网络插件，主要的步骤包括编写Flannel配置文件、创建Flannel服务账号、部署Flannel、验证Flannel部署等。通过这个过程，我们可以更加深入地了解Flannel的配置和使用方法，还可以通过这个代码来学习如何使用Kubernetes的API进行资源的创建和管理。 ### 回答3： k8s网络插件-flannel部署 k8s是一个分布式系统，为了实现各个节点之间的通信，需要有一个网络插件来管理网络连接。其中，Flannel就是最常用的一种网络插件，它主要的作用是将各个节点的IP地址进行转换，而流量则通过这些IP地址进行转发，从而实现多个节点之间的网络通信。 Flannel的部署主要分为以下几个步骤： 1.安装etcd 在节点中安装etcd，可以使用yum或apt-get等包管理器进行安装。在这个过程中，需要注意etcd的版本和操作系统之间的兼容性，以避免出现问题。 2.部署flannel 可以先下载最新的flannel二进制文件，然后将其部署到各个节点上。在这个过程中，需要修改flannel的配置文件，以指定etcd的地址和网络配置等相关信息。 3.配置kubelet和kube-proxy 为了让k8s系统能够正常地使用flannel网络插件，需要对kubelet和kube-proxy进行配置。可以通过修改它们的启动配置文件，将其网络模式设置为flannel，并指定相关参数。 4.测试网络连接 在完成以上步骤后，可以使用一些工具来测试节点之间的网络连接情况，例如ping命令和nslookup命令等。如果连接正常，就可以开始在k8s系统中进行容器的部署和管理了。 总的来说，Flannel是k8s系统中必不可少的一个组件，它可以帮助我们有效地管理节点之间的网络连接，从而达到更好的分布式系统效果。在部署Flannel时需要注意一些细节，以确保其正常运作，并加强系统的可靠性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值