Flannel 是由 CoreOS 维护的一个虚拟网络方案。目前是kubernetes默认的网络,它有golang编写,在源码分析之前还是先看看怎样使用。这里不得不提一下kubernetes网络约束:
1. 所有容器之间都可以无须SNAT即可相互直接以IP通信。
2. 所有主机与容器之间都可以无须SNAT即可相互直接以IP通信。
3. 容器看到的自身IP与其他容器看到的容器IP相同。
当然flannel的网络是符合这三点约束的。
在部署完kubernetes之后,那么kubernetes可以启动容器了,但此时容器跨宿主机网络是无法联通,需要一些技术如vxlan、端口映射、SDN等。下面就开始flannel网络部署安装。
flannel的安装可谓简单至极
yum -y install flannel
配置也是极其简单,配置文件/etc/sysconfig/flanneld ,主要配置etcd的地址
# Flanneld configuration options
# etcd url location. Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="http://10.39.0.6:2379"
# etcd config key. This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/flannel/network"
# Any additional options that you want to pass
FLANNEL_OPTIONS="-iface=eth0"
flannel是依赖etcd做网络分配以及端口信息获取的,所以还需要etcd的支持,下面是我本地环境的设置:
etcdctl get /flannel/network/config
{"Network": "192.168.0.0/16","SubnetLen": 24,"SubnetMin": "192.168.1.0","SubnetMax": "192.168.100.0","Backend": {"Type": "vxlan"}}
这样设置了192.168.0.0/16这样一个网段作为容器的IP。每个子网掩码24。后面设置了最小和最大子网,最后一个是设置backend网络类型包括UDP、vxlan、host-gw等。下面就可以通过systemctl管理flannel的进程flanneld了。
systemctl status flanneld
● flanneld.service - Flanneld overlay address etcd agent
Loaded: loaded (/usr/lib/systemd/system/flanneld.service; enabled; vendor preset: disabled)
Active: active (running) since 一 2017-04-24 13:15:51 CST; 37min ago
Process: 14513 ExecStartPost=/usr/libexec/flannel/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker (code=exited, status=0/SUCCESS)
Main PID: 14506 (flanneld)
Memory: 3.8M
CGroup: /system.slice/flanneld.service
└─14506 /usr/bin/flanneld -etcd-endpoints=http://10.39.0.6:2379 -etcd-prefix=/flannel/network -iface=eth0
4月 24 13:15:50 slave3 systemd[1]: Starting Flanneld overlay address etcd agent...
4月 24 13:15:50 slave3 flanneld-start[14506]: I0424 13:15:50.966112 14506 main.go:132] Installing signal handlers
4月 24 13:15:50 slave3 flanneld-start[14506]: I0424 13:15:50.967099 14506 manager.go:149] Using interface with name eth0 and address 10.39.0.53
4月 24 13:15:50 slave3 flanneld-start[14506]: I0424 13:15:50.967417 14506 manager.go:166] Defaulting external address to interface address (10.39.0.53)
4月 24 13:15:51 slave3 flanneld-start[14506]: I0424 13:15:51.001224 14506 local_manager.go:179] Picking subnet in range 192.168.1.0 ... 192.168.100.0
4月 24 13:15:51 slave3 flanneld-start[14506]: I0424 13:15:51.007527 14506 manager.go:250] Lease acquired: 192.168.69.0/24
4月 24 13:15:51 slave3 flanneld-start[14506]: I0424 13:15:51.009495 14506 network.go:58] Watching for L3 misses
4月 24 13:15:51 slave3 flanneld-start[14506]: I0424 13:15:51.009875 14506 network.go:66] Watching for new subnet leases
4月 24 13:15:51 slave3 systemd[1]: Started Flanneld overlay address etcd agent.
我之所以把整个systemctl输出贴出来,是想和大家介绍一下flanneld的启动过程从日志可以看出,第一步是signal handlers这个是安装一个监听内核信号量的handler,第二步是使用eth0为自己流量出口,第三步是获取我之前config设定的子网范围,第四步是租用一个网段,第五步是启动L3 Miss监听,第六步是监听子网事件。那么这个flannel就启动了。
测试一下效果:
ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
19: eth0@if20: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default
link/ether 02:42:c0:a8:05:02 brd ff:ff:ff:ff:ff:ff
inet 192.168.5.2/24 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::42:c0ff:fea8:502/64 scope link tentative dadfailed
valid_lft forever preferred_lft forever
ping 192.168.90.7
PING 192.168.90.7 (192.168.90.7): 56 data bytes
64 bytes from 192.168.90.7: icmp_seq=0 ttl=62 time=8.250 ms
64 bytes from 192.168.90.7: icmp_seq=1 ttl=62 time=12.359 ms
64 bytes from 192.168.90.7: icmp_seq=2 ttl=62 time=8.293 ms
ping另一个主机上面的容器ok!
这里大家可能有疑惑,我这个flannel没有cni的部分,那么它是怎样接入的k8s里面的呢?其实flannel有个cni,只是不常用,在这里面偷了个懒,直接修改docker的bip达到网络分配的目的。
cat /usr/lib/systemd/system/docker.service.d/flannel.conf
[Service]
EnvironmentFile=-/run/flannel/docker
cat /run/flannel/docker
DOCKER_OPT_BIP="--bip=192.168.69.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=true"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=192.168.69.1/24 --ip-masq=true --mtu=1450"
通过修改docker启动参数修改docker的bip,如下:
ps -ef|grep docker
root 15239 1 0 13:17 ? 00:00:08 /usr/bin/dockerd-current --add-runtime docker-runc=/usr/libexec/docker/docker-runc-current --default-runtime=docker-runc --exec-opt native.cgroupdriver=systemd --userland-proxy-path=/usr/libexec/docker/docker-proxy-current --selinux-enabled --log-driver=journald --signature-verification=false --bip=192.168.69.1/24 --ip-masq=true --mtu=1450
那么启动的容器还是挂到docker自己网桥上面,只不过网桥的地址段被flannel设置了,flannel为每个宿主机分配了一个网段。所以这里有坑需要注意,就是flannel如果修改了网段配置,需要重启docker才能生效。关于flannel的基本安装使用就说到这里