关于 kubernetes 的 flannel 网络组件研究

最新推荐文章于 2022-04-05 09:40:18 发布
最新推荐文章于 2022-04-05 09:40:18 发布
阅读量5.2k 收藏 1
点赞数
分类专栏： kubernetes 文章标签： kubernetes docker devops
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45015255/article/details/117176415
版权
https://github.com/flannel-io/flannel/tree/master/Documentation
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# flannel 的网络方案是基于L3网实现虚L2网 "Virtual eXtensible Local Area Network"，仅关心流量如何在 Node 间流转
# 它为每个节点分配一个子网，每个节点创建POD时再从它的 subnet 中进行IP分配，并使这些IP（集群全局唯一）在Node间路由 ...
# 使得容器间在不借助NAT、端口映射的情况下互通（每个节点的 subnet 都是从更大的集群范围的IP地址池中划分的）
# 每个节点中运行的 flanneld 负责从集群的IP地址池中申请并分配 subnet 给各自节点（IP池及分配信息存于etcd）
# 使用 etcd 存放网络配置、已分配的 subnet、Host的IP等信息（flannel通过APIServer或直接与etcd通讯）
# flannel 数据包在主机间的转发功能由其后端 backend 实现，目前支持 VxLAN、host-gw、UDP、AWS VPC、GCE 路由等 ...
# flannel 实时监听 etcd 中数据变化。同时在节点中创建名为 flannel0 的桥（这是VXLAN类型的接口）...
# Tunnel协议的一个重要的特性就是软件扩展性，这是SDN软件定义网络 Software-defined Network 的基石之一 

# 名为flannel的CNI插件是开源网络方案 flannel 的调用器，这是flannel网络方案适配CNI架构的产物
# 为了便于区分通常称CNI插件中的flannel为 flanenl CNI
# 节点中的 flanneld 返回该节点使用的网络、subnet、MTU等信息并保存到本地文件中，默认为 /run/flannel/subnet.env
# 处于flannel网络下的 bridge 设备会与其生成的 flannel0 接口互联，而 flannel0 的数据会被封包 (udp、vxlan) 或直接转发 (host-gw)
# 处于flannel网络下的 flannel 还会配置相应的Node间路由并生成ARP、FDB表 ...

# --------------------------------------------------------- Flanneld Arguments

# 命令行选项也能通过环境变量指定，例如 --etcd-endpoints=xxx 等效于 FLANNELD_ETCD_ENDPOINTS=xxx
--ip-masq
--public-ip=""
--etcd-endpoints=http://127.0.0.1:4001
--etcd-prefix=/coreos.com/network
--etcd-keyfile=""
--etcd-certfile=""
--etcd-cafile=""
--subnet-file="/run/flannel/subnet.env"
-v=0

# --------------------------------------------------------- describe

kubernetes 集群中基于 flannel 的通讯流程 (节点间通过overlay网络保证不同节点的container互通)

1. 容器直接用目标POD_IP进行访问，并通过容器内部网络名称空间的eth0网卡发出（POD内的网关是其所在bridge的IP）
2. 报文通过veth pair被发送到POD所在宿主节点中的虚拟桥设备 docker0或cni0，报文通过其发出 ...
4. 此时在该Node中通过查路由表 (由Flannel生成) 访问外部POD_IP的报文根据其转发到名为 flannel0 的虚拟网卡
5. 这是P2P的虚拟网卡，然后此报文就被转发到运行在其他节点的flanneld监听的的UDP/8285或UDP/8472端口 (UDP/Vxlan) ...
5. flanneld通过etcd存储、维护各节点间的路由信息，把原来的报文用UDP再封装一层后通过 --iface 参数设置的接口发出
6. 报文通过主机之间的网络找到目标主机 (由于是overlay模式，因此对底层网络没啥要求)
7. 报文继续向上到传输层，交给默认监听在UDP/8285的flanneld处理（基于UDP的VXLAN数据被解包后发给flannel0虚拟网卡）
8. 此时目标Node查找其路由表后发现对应的POD_IP的报文要交给 docker0 桥
9. docker0 根据连接自己的容器的IP信息把报文发送过去 (veth pair)
flannel 启动流程 …
https://github.com/flannel-io/flannel/blob/master/Documentation/running.md

flanneld --subnet-file /run/flannel/subnet.env --etcd-endpoints=http://x.x.x.x:2379 --etcd-prefix=/coreos.com/network/config ...

# flanneld 启动过程 (要在docker daemon之前启动):
#     1. 从apiserver或etcd中获取network配置信息，并且会 watch etcd中记录的新成员并相应地调整路由 ...
#     2. 划分其所在Node的子网 subnet 并在etcd进行注册 ...
#     3. 配置其对应的后端 backend ，根据不同的后端设置对的处理规则 ...
#     4. 将从etcd申请的属于本节点的子网信息写入 /run/flannel/subnet.env (含有其支持的子网地址和MTU)

# Flanneld在etcd集群中的初始网络配置信息如下
# 对于所有加入flannel的节点和container来讲，flannel给它们呈现的是一个flat的/16大三层网络，每个节点获取里面1个/24的网段
{
  "Network": "172.22.0.0/16",
  "SubnetLen": 24,
  "Backend": {
    "Type": "vxlan"
   }
 }

# Use Port For flannel backend
udp   # flannel 使用 UDP/8285 发送封装的 packets
vxlan # kernel  使用 UDP/8472 发送封装的 packets

# --------------------------------------------------------- flannel => etcd => /coreos.com/network/config

# 在etcd中修改flannel的默认配置 ...
etcdctl put /coreos.com/network/config \
{
    "Network": "172.22.0.0/16",     # 设置容器IP池，docker0 默认是 172.17.0.0/16 ( 指定Flannel地址池 )
    "SubnetLen": 24,                # 
    "SubnetMin": "172.22.0.0",      # 用于分配的起始网段，可不写（用于特殊预留）
    "SubnetMax": "172.22.255.0",    # 用于分配的终止网段，可不写
    "Backend": {                    # Flannel 的后端类型设置 ...
        "Type": "vxlan"             # 默认 udp 方式，此处设为 vxlan 方式，目前支持 VxLAN、host-gw、UDP、AWS VPC、GCE 路由等 ...
    }
}

# 每个flannel节点都能通过 apiserver/etcd 感知到集群中其它节点的存在 ...
# etcdctl ls /coreos.com/network --recursive (v2 api)
/coreos.com/network/config                          # flanneld 的配置信息 ...
/coreos.com/network/subnets                         # 该路径下存放的是为集群中所有Node分配的IP段
/coreos.com/network/subnets/172.22.9.0-24           # 每个地址都是1个Node节点能分配给其自身运行的Pod地址范围
/coreos.com/network/subnets/172.22.21.0-24          # 
/coreos.com/network/subnets/172.22.90.0-24          # 

# 查看具体某个节点的 flannel 网络配置信息
etcdctl get /coreos.com/network/subnets/172.22.9.0-24 | python -m json.tool
{
    "PublicIP": "192.168.166.102",                  # 172.22.9.0-24 网段对外的IP地址，即 Node IP
    "BackendType": "vxlan",                         # 
    "BackendData": {                                # 
        "VtepMAC": "1a:9a:e1:c1:be:3f"              # 
    }
}

# --------------------------------------------------------- Docker integration

# 部署 docker daemon 后需修改启动参数来让其使用 flannel 实现的IP分配 (subnet) 及网络通讯 ...
# 因为 flannel 将获取的子网和MTU值写到了 subnet.env 文件，因此 docker daemon 启动时可直接读取它们的值 ...

# cat /run/flannel/subnet.env
FLANNEL_NETWORK=172.22.0.0/16
FLANNEL_SUBNET=172.22.255.0/24      # docker读取其来生成在整个集群范围内唯一的 bridge 网段，从而保证 Pod IP 唯一
FLANNEL_MTU=1450                    # MTU 也是要进行修改的 ...
FLANNEL_IPMASQ=false

# Example For start docker daemon
source /run/flannel/subnet.env
docker daemon --bip=${FLANNEL_SUBNET} --mtu=${FLANNEL_MTU} &

# --------------------------------------------------------- /run/docker_opts.env

# 可使用 flannel 提供的脚本将 subnet.env 转写成 docker daemon 的启动参数，它默认被生成在 /run/docker_opts.env 中
# systemd用户可使用 EnvironmentFile 指令来引入 /run/flannel/subnet.env 中的环境变量 ...

/opt/flannel/mk-docker-opts.sh -c
cat /run/docker_opts.env
# DOCKER_OPTS="--bip=172.22.9.1/24 --ip-masq=false --mtu=1450"

# 修改docker的服务启动文件
vim /lib/systemd/system/docker.service
# ......
# EnvironmentFile=/run/docker_opts.env
# ExecStart=/usr/bin/dockerd $DOCKER_OPTS -H fd://
# ......
systemctl daemon-reload && systemctl enable docker --now


# 如果想保留使用默认的 docker0 网络而非创建的新网桥，可执行以下操作:
source /run/flannel/subnet.env
docker network create \
    --attachable=true --subnet=${FLANNEL_SUBNET} -o "com.docker.network.driver.mtu"=${FLANNEL_MTU} flannel

# ---------------------------------------------------------

flanneld启动后会在Node中创建名为 flannel.1 的vxlan设备并将节点对应的子网赋给 docker0，同时实时维护Node中的路由信息 ...

# 3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN 
#     link/ether 02:42:e0:e9:e9:52 brd ff:ff:ff:ff:ff:ff
#     inet 172.22.9.1/24 scope global docker0
#        valid_lft forever preferred_lft forever
# 4: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN 
#     link/ether 1a:9a:e1:c1:be:3f brd ff:ff:ff:ff:ff:ff
#     inet 172.22.9.0/32 scope global flannel.1
#        valid_lft forever preferred_lft forever
#     inet6 fe80::189a:e1ff:fec1:be3f/64 scope link 
#        valid_lft forever preferred_lft forever

在基于 VXLAN 后端的节点中执行 ip route show 命令 ...
# default via 192.168.166.2 dev ens33 proto static metric 100 
# 172.22.9.0/24 dev docker0 proto kernel scope link src 172.22.9.1   
# 172.22.0.0/16 dev flannel.1
# 192.168.166.0/24 dev ens33 proto kernel scope link src 192.168.166.102 metric 100

# 流程:
# [ POD1 -> docker0 -<route table>-> flannel1(vxlan) ]  <==NETWORK==>  [ (vxlan)flannel1 -> docker0 -<route table>-> POD2 ]
#                                               ↓                             ↑
#                                      (encapsulation)  --------------  (decapsulation)
关于flannel的CNI插件相关Json配置段
https://www.cni.dev/plugins/current/meta/flannel/

# 节点中 flannel daemon 的 flannel CNI 的任务如下:
# 1. 执行ADD命令时flanenl插件从 /run/flannel/subnet.env 读取flanneld配置，然后根据参数和该配置生成新的CNI配置文件保存在本地，文件名包含容器ID来区分
# 2. 新的CNI配置文件中会使用其他CNI组件并注入相关配置信息，之后 flannel CNI根据这个新的CNI配置文件执行ADD命令
# 3. 执行DEL命令时flanenl插件从本地根据容器ID找到之前创建的CNI配置文件，根据该配置文件执行DEL命令 ...
# 4. 也就是说flannel插件此时是flannel网络模型的委托者，falnnel网络模型委托它去调用其他CNI组件来实现网络配置。通常调用的是CNI内置的 bridge、host-local

# -------------------------------------------------------------------------------------------------

# flannel的CNI插件旨在与flanneld一起使用，该CNI插件用于容器的网络设置，当启动flanneld时将生成 /run/flannel/subnet.env 文件:
FLANNEL_NETWORK=10.1.0.0/16
FLANNEL_SUBNET=10.1.17.1/24
FLANNEL_MTU=1472
FLANNEL_IPMASQ=true

# 上述配置反应了节点中flannel的网络属性，由flannel CNI通过该文件读取其信息来调用其他CNI插件 (例如使用其传参并调用CNI的 bridge 插件)
# 当给定以下CNI网络配置文件的内容及上述 /run/flannel/subnet.env 内容时
# Given the following network configuration file and the contents of /run/flannel/subnet.env above
{
	"name": "mynet",
	"type": "flannel"
}
#
# flannel的CNI插件将生成另一个网络配置文件，the flannel plugin will generate another network configuration file
# 然后flannel的CNI插件再去调用 bridge 插件并将生成的这个Json配置传递给它:
{
	"name": "mynet",
	"type": "bridge",           # flannel插件调用了bridge插件 ...
	"mtu": 1472,
	"ipMasq": false,
	"isGateway": true,
	"ipam": {
		"type": "host-local",
		"subnet": "10.1.17.0/24"
	}
}

# 从上述可看出默认情况下flannel的CNI插件会委派 bridge 插件执行
# 若需将其他的配置信息传递给 bridge 插件时可通过在 delegate 字段设置进行传递:
{
	"name": "mynet",
	"type": "flannel",
	"delegate": {
		"bridge": "mynet0",     # 创建的 bridge 设备将命名为 mynet0
		"mtu": 1400             # 设置 MTU
	}
}

# --------------------------------------------------- flannel CNI - Network configuration reference

name        # 网络名称
type        # flannel 
subnetFile  # flanneld 写入的子网文件的完整路径，默认为 /run/flannel/subnet.env
dataDir     # 该插件用于存储生成的网络配置文件的目录的路径，默认为 /var/lib/cni/flannel
delegate    # 指定委托插件的配置选项
ipam        # 指定时，用作构造ipam委托插件配置的部分的基础

# flannel插件将始终在 delegate 插件的配置段中设置以下字段:
name        # 其名称
ipam        # 若存在，则默认的 type为host-local、subnet为$FLANNEL_SUBNET、并且还有个routes元素 ...

# flannel plugin will set the following fields in the delegated plugin configuration if they are not present:
ipMasq      # the inverse of $FLANNEL_IPMASQ
mtu         # $FLANNEL_MTU

# 另外 bridge插件的 isGateway 属性默认值为 true
theory

# POD数据包流向:
# POD数据包从cni0进入，从flanel0出去，然后在借助于宿主机的物理网卡发出报文 ...

# 当 kubernetes 集群中的 Node 数量很多时，每个Node中都将存在超多路由条目，因此会造成性能问题

# 当flennel处于 host-gw 工作模式时由于是直接通过路由进行转发，因此其性能与calico相当
# 但该模式的缺陷是集群节点之间不能跨网段通讯 ...
weixin_45015255
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于 flannel 后端的 vxlan 研究
wy
05-23 216
可扩展虚拟局域网 Virtual eXtensible Local Area Network ( RFC7348 ) VXLAN 出现的原因 ... # 普通VLAN的VLAN_ID只有4096个，无法满足大规模云计算IDC需求，因为目前大部分IDC内部结构主要分2种: L2、L3 # 在L2结构里所有服务器都在一个大的局域网里，TOR透明L2，不同交换机上的机器互通靠MAC，通信和广播的隔离靠VLAN，网关在内网核心上 # 在L3结构里这是从TOR级别上就开始用协议进行互联，网关在TOR上，不同交换机间
Kubernetes容器网络及Flannel插件详解
边缘计算社区
05-25 1563
本文来源于：巨子嘉，对云原生、K8s感兴趣的朋友可以关注一下！1.1.容器网络基础Kubernetes是一个开源容器调度编排引擎，管理大规模容器化应用，采用典型的Master-Worker主从分布式技术架构，由集中式管理节点（Master Node）,分布式的工作节点（Worker Node）组成。向下屏蔽底层差异化的分布式基础设施，以应用为中心构建云计算的基础操作系统能...
kubernetes 网络之 flannel 与 calico
03-16
Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。在Kubernetes中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。 K8s网络在kubernetes的管理中是不可或缺的部分，本套课程主要围绕目前主流的flannel和calico两个网络组件进行讲解。还深入的剖析了calico和k8s网络策略等。主要讲解K8S网络的以下几个方面：  1. Flannel网络在k8s中的应用，及三种后端模式的演示。  2. Calico网络在k8s中的架构及部署。  3. Calico各选项的调整及对网络性能的优化。  4. Calico网络策略和K8s网络策略的常见用法及案例。  5. Calico网络策略的高级使用场景，比如限制到k8s节点的流量及高并发流量的旁路等。  6. Flannel网络的迁移及和calico策略的集成。注意： 本课程学习需要具有一定的Linux基础，网络基础，至少需要您了解网络七层协议，路由等基础知识，并掌握Docker和k8s相关知识点。
Flannel 网络 安装配置（docker容器互通）
我有两颗星星
08-05 1667
一简介 Flannel是一种基于overlay网络的跨主机容器网络解决方案，也就是将TCP数据包封装在另一种网络包里面进行路由转发和通信。 Flannel是coreOS开发，专门用于docker多机互联的一个工具，让集群中的不同节点创建的容器都基有全集群唯一的虚拟ip地址 FLannel使用go语言编写 二Flannel实现原理 2.1原理说明 Flannel为每一个host分配一个subnet，容器从这个subnet中分配IP，这些IP可以在host间路由，容器间无需使用nat和端口映射...
docker跨主机集群之flannel
andrew_dear的博客
02-25 1770
0. 环境说明 CentOS7 etcd-v3.4.3-linux-amd64.tar.gz flannel-v0.11.0-linux-amd64.tar.gz 官方文档：https://github.com/coreos/flannel 下载地址：https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz 1. Docke...
kubernetes网络资源 flannel
04-13
kubernetes网络资源组件flannel的yaml文件
6. Kubernetes容器网络1
08-03
在Kubernetes环境中，容器网络是实现服务之间通信的关键部分。Kubernetes使用了一种...在实际应用中，Kubernetes还提供了多种网络插件，如Flannel、Calico等，它们在底层使用了上述技术，以提供更高级的功能和服务。
kubernetes部署Master组件
01-07
在部署Kubernetes Master之前一定要确保etcd、flannel、docker是正常工作的，否则先解决问题再继续。 Master组件组要包括kube-apiserver，kube-scheduler，kube-controller-manager。 1、下载解压kubernetes server...
kubernetes高可用集群搭建手册
12-30
同时，安装必要的网络插件如flannel或Calico，为Pod提供网络通信。 #### 2.5 集群初始化 使用kubeadm命令初始化集群，配置集群的网络策略、DNS服务和默认的Pod网络。 #### 2.6 高可用Master 创建Master节点的...
k8s集群搭建（二）—flannel搭建（非docker搭建）
Ay_Ly的博客
05-31 544
Flannel容器集群网络部署 Overlay Network：覆盖网络，在基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路连接起来。 VXLAN：将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址。 Flannel：是Overlay网络的一种，也是将源数据包封装在另一种网络包里面进...
Kubernetes容器网络（一）：Flannel网络原理
hxt的博客
04-05 7124
前言 本文主要分享Flannel如何解决跨主机容器之间通信问题的，如果你对主机内容器之间通信流程还不了解，建议先看下这篇文章：Docker网络原理 1、前置网络知识 1）、tun/tap设备 tun/tap设备在虚拟机的组网过程中起到作用。tun表示虚拟的是点对点设备，tap表示虚拟的是以太网设备，这两种设备针对网络包实施不同的封装 tun/tap设备到底是什么？从Linux文件系统的角度看，它是用户可以用文件句柄操作的字符设备；从网络虚拟化角度看，它是虚拟网卡，一端连着网络协议栈，另一端连着用户态程序 t
flannel原理简析及安装
菲宇运维
07-18 2050
flannel是CoreOS提供用于解决Dokcer集群跨主机通讯的覆盖网络工具。它的主要思路是：预先留出一个网段，每个主机使用其中一部分，然后每个容器被分配不同的ip；让所有的容器认为大家在同一个直连的网络，底层通过UDP/VxLAN等进行报文的封装和转发。 flannel项目地址：https://github.com/coreos/flannel flannel架构介绍 flannel默...
K8S之kube-flannel.yml
huangbaokang的博客
11-13 1003
--- apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: name: psp.flannel.unprivileged annotations: seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default seccomp.security.alpha.kubernetes.io/defaultProfileName: docke
kubeadm安装Kubernetes1.11集群
热门推荐
菲宇运维
08-25 1万+
集群环境 主机名称 IP 备注 操作系统 master 192.168.0.8 docker、kubectl、kubelet、kubeadm、flannel centos7.3 node01 192.168.0.9 docker、kubectl、kubelet、kubeadm centos7.3 node02 192.168...
Kubernetes-基于flannel的集群网络
weixin_33858249的博客
10-10 182
1、Docker网络模式 在讨论Kubernetes网络之前，让我们先来看一下Docker网络。Docker采用插件化的网络模式，默认提供bridge、host、none、overlay、maclan和Network plugins这几种网络模式，运行容器时可以通过–network参数设置具体使用那一种模式。 bridge：这是Docker默认的网络驱动，此模式会为每一个容器分配Network ...
vxlan 分布式网关数据包转发过程_本文详解之flannel-Vxlan模式
weixin_39999209的博客
11-25 398
VXLAN简介 工作在内核态VXLAN全称Virtual Extensible LAN，是一种虚拟化隧道通信技术，主要是为了突破VLAN的最多4096个子网的数量限制，以满足大规模云计算数据中心的需求。VLAN技术的缺陷是VLAN Header预留的长度只有12 bit，故最多只能支持2的12次方即4096个子网的划分，无法满足云计算场景下主机数量日益增长的需求。当前VXLAN的报文Header内...
K8S单master部署二：Flannel网络部署
Zzzzzz的博客
02-05 1253
以下所有操作均在node节点进行 Flannel网络概述 Flannel通过给每台宿主机分配一个子网的方式为容器提供虚拟网络，它基于Linux TUN/TAP，使用UDP/VXLAN封装IP包来创建overlay网络，并借助etcd(也支持kubernetes)维护网络的分配情况。 服务器角色分配 角色 地址 安装组件 master 192.168.142.220 kube-...
k8s安装flannel网络插件
最新发布
05-11
安装Flannel网络插件是在Kubernetes集群中实现容器间网络通信的一种方式。下面是安装Flannel网络插件的步骤： 1. 在每个节点上安装etcd客户端，并确保etcd客户端能够连接到etcd服务器。可以使用以下命令安装etcd...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值