CNCF CNI系列之四：flannel host-gw模式工作原理浅析

一、前言

flannel作为一个container互联解决方案，不仅提供基于封装类型的互联技术，也提供基于路由技术的互联技术，比如host-gw模式。

host-gw模式通过建立主机IP到主机上对应flannel子网的mapping，以直接路由的方式联通flannel的各个子网。这种互联方式没有vxlan等封装方式带来的负担，通过路由机制，实现flannel网络数据包在主机之间的转发。但是这种方式也有不足，那就是所有节点之间都要相互有点对点的路由覆盖，并且所有加入flannel网络的主机需要在同一个LAN里面；所以每个节点上有n-1个路由，而n个节点一共有n(n-1)/2个路由以保证flannel的flat网络能力。

转载自https://blog.csdn.net/cloudvtech

二、配置flannel

1.节点分布如下：

etcd: 192.168.166.101
node1: 192.168.166.102
node2: 192.168.166.103
node3: 192.168.166.104

2.etcd上面的配置如下：

etcdctl mk /test/network/config "{ \"Network\": \"172.22.0.0/16\", \"SubnetLen\": 24, \"Backend\": { \"Type\": \"host-gw\" } }"  

3.节点上启动flannel如下：

/usr/bin/flanneld -etcd-endpoints=http://192.168.166.101:4001 -etcd-prefix=/test/network

并且有如下log：

Picking subnet in range 172.22.1.0 ... 172.22.255.0 
Lease acquired: 172.22.84.0/24
Watching for new subnet leases
Subnet added: 172.22.13.0/24 via 192.168.166.103
Subnet added: 172.22.2.0/24 via 192.168.166.104

每当有新的节点加入，该节点就会向etcd注册，所有监听etcd的flanneld service就会在节点本地进行必要的更新来把新的子网和节点加入。

docker0 birdge上面则被配置了节点子网的网关IP：

3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN 
    link/ether 02:42:d9:a0:e5:54 brd ff:ff:ff:ff:ff:ff
    inet 172.22.84.1/24 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:d9ff:fea0:e554/64 scope link 
       valid_lft forever preferred_lft forever

4.启动container

docker run -it busybox sh

container里面的网络配置如下：

/ # ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
6: eth0@if7: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:16:54:02 brd ff:ff:ff:ff:ff:ff
    inet 172.22.84.2/24 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe16:5402/64 scope link tentative 
       valid_lft forever preferred_lft forever

转载自https://blog.csdn.net/cloudvtech

三、网络分析

在三个节点加入到flannel网络之后，etcd上会有如下信息：

etcdctl ls /test/network --recursive
/test/network/config
/test/network/subnets
/test/network/subnets/172.22.2.0-24
/test/network/subnets/172.22.84.0-24
/test/network/subnets/172.22.13.0-24

而每个节点上，则不像vxlan一样会有一个flannel.1的bridge，取而代之的是新建的一些列路由，如下是node1上面的路由：

ip route
default via 192.168.166.2 dev ens33 proto static metric 100 
172.22.2.0/24 via 192.168.166.104 dev ens33 
172.22.13.0/24 via 192.168.166.103 dev ens33 
172.22.84.0/24 dev docker0 proto kernel scope link src 172.22.84.1 
192.168.166.0/24 dev ens33 proto kernel scope link src 192.168.166.102 metric 100 

到172.22.2.0/24和172.22.13.0/24两个子网的路由被分别直接导向node3和node2，在node2和node3上也有类似到其它节点的路由。

现在所有进出container的数据包都要经由docker0 bridge和以上直接路由的引导。

四、扩展阅读

这片文章对于flannel的不同模式的性能进行了检测，可以进行参考：

《Comparison of Networking Solutions for Kubernetes》

转载自https://blog.csdn.net/cloudvtech