CNI网络插件之flannel

最新推荐文章于 2025-02-12 14:05:30 发布

codemillion

最新推荐文章于 2025-02-12 14:05:30 发布

阅读量3.3k

点赞数 2

分类专栏： kubernetes docker 文章标签： kubernetes cni-plugins-amd6

本文链接：https://blog.csdn.net/m0_48594855/article/details/107145561

版权

本文深入探讨了CNI网络插件flannel的实现与优势，包括其解决macvlan插件存在的问题、flannel的组件、安装流程、网络通信方式以及常用后端。文章还详细介绍了flannel的vxlan、host-gw后端，以及DirectRouting配置，展示了flannel如何配合其他插件实现网络策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

CNI网络插件之flannel

上篇文章《CNI插件之CNI插件最简实现之macvlan plugin》我们介绍了macvlan插件，通过使用与分析，我们知道:

macvlan插件在集群多节点上，要每个节点都放配置文件, 比如/etc/cni/net.d/10-maclannet.conf, 并且各个节点的子网不能冲突。
macvlan插件默认网关的设置上还需要考虑ip是否已经存在，插件并不会自动帮我们设置,需要手动配置。
macvlan插件在集群多节点上，跨节点容器间通信上还需要手动配置网段路由。
macvlan插件在访问外部网络上，需要再手动配置网关，之后流量部分情况下，还需要走snat规则出公网。
macvlan插件的容器内部接口，是基于指定的宿主机主（master）接口，容器内部接口与主（master）接口不能直接通信。
macvlan插件是一个underlay的网络技术，网络栈有一定的独立性，安全方面会有一定的限制。

flannel插件的实现上解决了上面列出的5个问题：

只要配置master节点, 自动配置集群各节点的子网，网关。
自动创建cni0网桥，用于单节点容器间的互连，自动设置cni0网卡ip，并作为节点内容器的网关。
根据实际使用的类型udp/vxlan/host-gw 在跨节点上自动配置相应的网络路由以及封装规则。比如udp模式上，创建flannel0（tun）设备，flanneld进配置进行udp外层（公网ip）分装。 vxlan模式下则创建flannel.1(VTEP)设备，设置相应的fdb转发规则等，使用内核vxlan模块进行外层（公网ip）封装。 host-gw模式下，自动配置网段路由进行路由转发。
自动为外部网络的访问，创建NAT规则，用于容器内部访问外部网络。
通过创建veth-pair设备对，一端放在容器内部，另外一端放在cni0网桥上，保障容器内部可以直接与cni0网桥通信。
flannel的udp/vxlan属于overlay的网络技术，安全方面有保障，另外也提供了一个性能较高的host-gw方案。

说了这么多优点，那flannel如何部署使用，具体怎样实现的呢？
这也是本篇文章要介绍的，这里罗列下面会介绍的内容：

flannel插件组成
flannel插件安装流程（vxlan）
单节点容器间通信方式（网桥）实验
容器访问外部网络通信方式实验
跨节点容器间通信方式（vxlan）实验
flannel常用backend（后端）介绍
flannel 插件代码实现
- 主流程，vxlan backend，host-gw backend等
vxlan之DirectRouting配置（原理同host-gw）
flannel插件配合其它插件实现网络策略(Network Policy)
flannel插件总结与讨论

flannel插件组成

flannel网络插件实现依赖的技术包括：

实现桥接使用的cni插件bridge，实际实现桥接功能的内核bridge
vxlan模式即 Virtual Extensible LAN（虚拟可扩展局域网）的内核实现，该部分部分依赖flanneld
udp模式下依赖的外层UDP封装实现flanneld进程
host-gw模式使用到的内核路由表实现
出公网需要的NAT的实现使用的内核iptables规则
保证每个节点存在一个副本的DaemonSet：kube-flannel-ds-amd64
自动同步到每个节点配置的配置ConfigMap：kube-flannel-cfg
账户相关的ServiceAccount：flannel //RBAC
集群角色相关的ClusterRole：flannel //RBAC
集群角色权限授予相关的ClusterRoleBinding：flannel //RBAC
POD安全策略相关的PodSecurityPolicy：psp.flannel.unprivileged该资源后面分配给flannel对应的ClusterRole //RBAC

上面DaemonSet，ConfigMap，RBAC相关的内容后续会出相应的章节介绍，感兴趣的跳转链接阅读（链接待添加）

这些组成大部分可以从yaml配置文件获取到，我们给出上面的链接对应的配置文件，以及简单的注释：

---
apiVersion: policy/v1beta1
kind: PodSecurityPolicy				#POD节点安全策略相关
metadata:
  name: psp.flannel.unprivileged
  annotations:
    seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default
    seccomp.security.alpha.kubernetes.io/defaultProfileName: docker/default
    apparmor.security.beta.kubernetes.io/allowedProfileNames: runtime/default
    apparmor.security.beta.kubernetes.io/defaultProfileName: runtime/default
spec:
  privileged: true
  volumes:
    - configMap
    - secret
    - emptyDir
    - hostPath
  allowedHostPaths:			#宿主机目录权限设置
    - pathPrefix: "/etc/cni/net.d"
    - pathPrefix: "/etc/kube-flannel"
    - pathPrefix: "/run/flannel"
  readOnlyRootFilesystem: false
  # Users and groups
  runAsUser:
    rule: RunAsAny
  supplementalGroups:
    rule: RunAsAny
  fsGroup:
    rule: RunAsAny
  # Privilege Escalation
  allowPrivilegeEscalation: false
  defaultAllowPrivilegeEscalation: false
  # Capabilities
  allowedCapabilities: ['NET_ADMIN']
  defaultAddCapabilities: []
  requiredDropCapabilities: []
  # Host namespaces
  hostPID: false
  hostIPC: false
  hostNetwork: true
  hostPorts:
  - min: 0
    max: 65535
  # SELinux
  seLinux:
    # SELinux is unused in CaaSP
    rule: 'RunAsAny'
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: flannel						#ClusterRole角色
rules:
  - apiGroups: ['extensions']
    resources: ['podsecuritypolicies']			#权限资源类型
    verbs: ['use']
    resourceNames: ['psp.flannel.unprivileged']		#权限资源名称
  - apiGroups:
      - ""
    resources:
      - pods
    verbs:
      - get
  - apiGroups:
      - ""
    resources:
      - nodes
    verbs:
      - list
      - watch
  - apiGroups:
      - ""
    resources:
      - nodes/status
    verbs:
      - patch
---
kind: ClusterRoleBinding				#权限绑定，给flannel（ServiceAccount）绑定flannel（ClusterRole）角色的权限
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: flannel
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: flannel
subjects:
- kind: ServiceAccount
  name: flannel
  namespace: kube-system
---
apiVersion: v1
kind: ServiceAccount			#创建ServiceAccount 账号
metadata:
  name: flannel
  namespace: kube-system
---
kind: ConfigMap		#用于保存配置信息的键值对，主要用于给容器内应用程序提供配置
apiVersion: v1
metadata:
  name: kube-flannel-cfg			#这里定义了kube-flannel-cfg这个configmap 后面以存储卷的形式提供给后面的DaemonSet
  namespace: kube-system
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "cniVersion": "0.3.1",
      "plugins": [
        {
          "type": "flannel",			#cni插件类型
          "delegate": {					#委托，这里实际调用的是bridge插件
            "hairpinMode": true,		#支持hairpinMode 用于实现pod访问集群服务后，重新负载均衡到本pod。
            "isDefaultGateway": true	#设置cni0网关ip，同时设置pod节点默认网关为cni0的ip,同bridge插件说明。
          }
        },
        {
          "type": "portmap",		#级联插件用于实现类似端口映射，nat的功能。
          "capabilities": {
            "portMappings": true
          }
        }
      ]
    }
  net-conf.json: |
    {
      "Network": "192.16.0.0/16",		#集群pod节点使用的网络网段
      "Backend": {
        "Type": "vxlan"			#backend的类型，这里使用vxlan，还可以udp/host-gw等
      }
    }
---
apiVersion: apps/v1
kind: DaemonSet					#DaemonSet保障集群各个节点有一个副本
metadata:
  name: kube-flannel-ds-amd64
  namespace: kube-system
  labels:
    tier: node
    app: flannel
spec:
  selector:
    matchLabels:
      app: flannel
  template:
    metadata:
      labels:
        tier: node
        app: flannel
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
              - matchExpressions:
                  - key: kubernetes.io/os
                    operator: In
                    values:
                      - linux
                  - key: kubernetes.io/arch
                    operator: In
                    values:
                      - amd64
      hostNetwork: true
      tolerations:
      - operator: Exists
        effect: NoSchedule
      serviceAccountName: flannel
      initContainers:
      - name: install-cni
        image: quay.io/coreos/flannel:v0.12.0-amd64			#使用的flannel镜像版本
        command:
        - cp
        args:
        - -f
        - /etc/kube-flannel/cni-conf.json
        - /etc/cni/net.d/10-flannel.conflist		#容器应用输入的cni配置文件
        volumeMounts:
        - name: cni
          mountPath: /etc/cni/net.d
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.12.0-amd64
        command:
        - /opt/bin/flanneld		#容器应用二进制 flanneld
        args:
        - --ip-masq			#代表处公网要走snat
        - --kube-subnet-mgr		#代表使用kube的subnet-manager，有别于etcd的subnet-manager,该类型基于k8s的节点CIDR
        resources:
          requests:
            cpu: "100m"
            memory: "50Mi"
          limits:
            cpu: "100m"
            memory: "50Mi"
        securityContext:
          privileged: true
          capabilities:
            add: ["NET_ADMIN"]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        volumeMounts:
        - name: run
          mountPath: /run/flannel
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      volumes:
        - name: run
          hostPath:
            path: /run/flannel				#运行相关目录
        - name: cni
          hostPath:
            path: /etc/cni/net.d			#cni插件配置目录
        - name: flannel-cfg
          configMap:
            name: kube-flannel-cfg			#使用的configmap配置

flannel插件安装流程（vxlan）

由于我们之前已经安装了macvlan了，并且部分容器已经添加进了macvlan创建的网络。所以这里我们在使用flannel插件前，先要重置网络：
重置详细命令较多，后面会有一个安装/重置的章节专门说明，如果使用前一章介绍的macvlan的方式安装，可以通过这个方式重置:链接

安装flannel插件，相对maxvlan插件，是将配置文件直接写在yaml里面，我们这里提供了一个典型的flannel yaml配置，这个配置和上一章介绍的yaml文件是一致的。

下载下来后，只要执行：

kubectl apply -f kube-falannel.yml

配置文件里面有一个比较关键的配置：

  net-conf.json: |
    {
      "Network": "192.16.0.0/16",	//集群pod节点网络
      "Backend": {
        "Type": "vxlan"				//flannel网络类型，可以vxlan/udp/host-gw等
      }
    }

配置文件里面的其它部分我们后面再做一个整体的介绍。

运行过后，集群各节点就会从NotReady变成Ready节点状态。

集群各节点会看到cni0网桥，连接到cni0网桥的veth设备

[root@k8s-new-master flannel]# ifconfig cni
cni0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 192.16.0.1  netmask 255.255.255.0  broadcast 0.0.0.0
        inet6 fe80::8c45:9bff:feb9:8700  prefixlen 64  scopeid 0x20<link>
        ether 8e:45:9b:b9:87:00  txqueuelen 1000  (Ethernet)
        RX packets 2699334  bytes 233169100 (222.3 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 2753084  bytes 650775039 (620.6 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        
[root@k8s-new-master flannel]# brctl  show
bridge name	bridge id		STP enabled	interfaces
cni0		8000.1a64c8fcc7c5	no		veth501950ba
										veth9abcf99e

veth设备对，其中sh-4.2# 表示在容器里面，容器里面eth0后面的@6与宿主机的编号6接口是一对直连，同理另外一个容器里面eth0后面的@7与宿主机的编号7接口也是直连的。


[root@k8s-new-master flannel]# ip link
6: veth501950ba@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP mode DEFAULT group default 
    link/ether ba:c0:8d:41:3f:30 brd ff:ff:ff:ff:ff:ff link-netnsid 0
7: veth9abcf99e@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP mode DEFAULT group default 
    link/ether 62:c1:58:cb:5e:14 brd ff:ff:ff:ff:ff:ff link-netnsid 1

sh-4.2# ip addr
3: eth0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default 
    link/ether 76:41:a1:96:53:88 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.16.0.72/24 scope global eth0
       valid_lft forever preferred_lft forever

sh-4.2# ip addr
3: eth0@if7: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default 
    link/ether 4a:aa:c6:b8:5a:12 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.16.0.73/2