flannel 实战与源码分析（一）

Flannel 是由 CoreOS 维护的一个虚拟网络方案。目前是kubernetes默认的网络，它有golang编写，在源码分析之前还是先看看怎样使用。这里不得不提一下kubernetes网络约束：
1. 所有容器之间都可以无须SNAT即可相互直接以IP通信。
2. 所有主机与容器之间都可以无须SNAT即可相互直接以IP通信。
3. 容器看到的自身IP与其他容器看到的容器IP相同。
当然flannel的网络是符合这三点约束的。
在部署完kubernetes之后，那么kubernetes可以启动容器了，但此时容器跨宿主机网络是无法联通，需要一些技术如vxlan、端口映射、SDN等。下面就开始flannel网络部署安装。
flannel的安装可谓简单至极

yum -y install flannel

配置也是极其简单，配置文件/etc/sysconfig/flanneld ，主要配置etcd的地址

# Flanneld configuration options  

# etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="http://10.39.0.6:2379"

# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/flannel/network"

# Any additional options that you want to pass
FLANNEL_OPTIONS="-iface=eth0"

flannel是依赖etcd做网络分配以及端口信息获取的，所以还需要etcd的支持，下面是我本地环境的设置：

etcdctl get /flannel/network/config
{"Network": "192.168.0.0/16","SubnetLen": 24,"SubnetMin": "192.168.1.0","SubnetMax": "192.168.100.0","Backend": {"Type": "vxlan"}}

这样设置了192.168.0.0/16这样一个网段作为容器的IP。每个子网掩码24。后面设置了最小和最大子网，最后一个是设置backend网络类型包括UDP、vxlan、host-gw等。下面就可以通过systemctl管理flannel的进程flanneld了。

systemctl status flanneld
● flanneld.service - Flanneld overlay address etcd agent
   Loaded: loaded (/usr/lib/systemd/system/flanneld.service; enabled; vendor preset: disabled)
   Active: active (running) since 一 2017-04-24 13:15:51 CST; 37min ago
  Process: 14513 ExecStartPost=/usr/libexec/flannel/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker (code=exited, status=0/SUCCESS)
 Main PID: 14506 (flanneld)
   Memory: 3.8M
   CGroup: /system.slice/flanneld.service
           └─14506 /usr/bin/flanneld -etcd-endpoints=http://10.39.0.6:2379 -etcd-prefix=/flannel/network -iface=eth0

4月 24 13:15:50 slave3 systemd[1]: Starting Flanneld overlay address etcd agent...
4月 24 13:15:50 slave3 flanneld-start[14506]: I0424 13:15:50.966112   14506 main.go:132] Installing signal handlers
4月 24 13:15:50 slave3 flanneld-start[14506]: I0424 13:15:50.967099   14506 manager.go:149] Using interface with name eth0 and address 10.39.0.53
4月 24 13:15:50 slave3 flanneld-start[14506]: I0424 13:15:50.967417   14506 manager.go:166] Defaulting external address to interface address (10.39.0.53)
4月 24 13:15:51 slave3 flanneld-start[14506]: I0424 13:15:51.001224   14506 local_manager.go:179] Picking subnet in range 192.168.1.0 ... 192.168.100.0
4月 24 13:15:51 slave3 flanneld-start[14506]: I0424 13:15:51.007527   14506 manager.go:250] Lease acquired: 192.168.69.0/24
4月 24 13:15:51 slave3 flanneld-start[14506]: I0424 13:15:51.009495   14506 network.go:58] Watching for L3 misses
4月 24 13:15:51 slave3 flanneld-start[14506]: I0424 13:15:51.009875   14506 network.go:66] Watching for new subnet leases
4月 24 13:15:51 slave3 systemd[1]: Started Flanneld overlay address etcd agent.

我之所以把整个systemctl输出贴出来，是想和大家介绍一下flanneld的启动过程从日志可以看出，第一步是signal handlers这个是安装一个监听内核信号量的handler，第二步是使用eth0为自己流量出口，第三步是获取我之前config设定的子网范围，第四步是租用一个网段，第五步是启动L3 Miss监听，第六步是监听子网事件。那么这个flannel就启动了。
测试一下效果：

ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
19: eth0@if20: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default 
    link/ether 02:42:c0:a8:05:02 brd ff:ff:ff:ff:ff:ff
    inet 192.168.5.2/24 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:c0ff:fea8:502/64 scope link tentative dadfailed 
       valid_lft forever preferred_lft forever

ping 192.168.90.7
PING 192.168.90.7 (192.168.90.7): 56 data bytes
64 bytes from 192.168.90.7: icmp_seq=0 ttl=62 time=8.250 ms
64 bytes from 192.168.90.7: icmp_seq=1 ttl=62 time=12.359 ms
64 bytes from 192.168.90.7: icmp_seq=2 ttl=62 time=8.293 ms

ping另一个主机上面的容器ok！
这里大家可能有疑惑，我这个flannel没有cni的部分，那么它是怎样接入的k8s里面的呢？其实flannel有个cni，只是不常用，在这里面偷了个懒，直接修改docker的bip达到网络分配的目的。

cat /usr/lib/systemd/system/docker.service.d/flannel.conf
[Service]
EnvironmentFile=-/run/flannel/docker


cat /run/flannel/docker 
DOCKER_OPT_BIP="--bip=192.168.69.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=true"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=192.168.69.1/24 --ip-masq=true --mtu=1450"

通过修改docker启动参数修改docker的bip，如下：

ps -ef|grep docker

root     15239     1  0 13:17 ?        00:00:08 /usr/bin/dockerd-current --add-runtime docker-runc=/usr/libexec/docker/docker-runc-current --default-runtime=docker-runc --exec-opt native.cgroupdriver=systemd --userland-proxy-path=/usr/libexec/docker/docker-proxy-current --selinux-enabled --log-driver=journald --signature-verification=false --bip=192.168.69.1/24 --ip-masq=true --mtu=1450

那么启动的容器还是挂到docker自己网桥上面，只不过网桥的地址段被flannel设置了，flannel为每个宿主机分配了一个网段。所以这里有坑需要注意，就是flannel如果修改了网段配置，需要重启docker才能生效。关于flannel的基本安装使用就说到这里