vxlan报文 wireshark_Flannel 环境搭建与分析

介绍

Flannel是CoreOS团队针对Kubernates设计的跨主机容器网络解决方案, 它可以使集群中不同节点上运行的docker容器都具有全集群唯一的虚拟IP地址。

举个例子,在一个由3台主机节点组成系统中,用户希望每个节点上容器的IP地址在各自设定的子网范围内:

Host1: 10.0.1.0/24

Host2: 10.0.2.0/24

Host3: 10.0.3.0/24

但是在 docker 的默认配置中,容器的IP地址是由节点上的 docker 服务自身决定的。以容器默认使用的 bridge 网络为例，其分配到的 IP 地址与 docker0 桥处于同一个网段。而如果没有手动配置，多台主机上的 docker0 的 IP 地址很有可能重复，那么，主机上运行的容器也就有可能被分配到相同的 IP 地址。虽然可以通过手工配置 docker 服务的启动参数(-bip)来使得各个主机的 docker0 桥 IP 地址各异，但这样的手动方式大大增加运维难度。并且除了IP地址，容器间的网络互通还需要配置主机间的 route table，neigh table 等等。而 Flannel 可以使这些工作变得简单。

典型组网

上图为 Flannel 系统运行的典型组网。Flannel 运行在每台需要运行 docker 容器的 host 上，etcd 是一个分布式数据库，它运行在另一台 host 上(实际上，它也可以运行在某台运行 Flannel 的 host 上)，它存储着 Flannel 当前的 IP 资源池以及当前的已分配状况，这是不同 host上 的容器 IP 不同的关键。当某台 host 上的 Flannel 启动时，它会访问 etcd 去得到一个空闲的 IP 网段，并将自己已占用该网段的信息写入 etcd ，这样其他 host 就不能分配到同样的网段了。

每台运行 Flanne l服务的 host 之间通过 backend 转发跨主机容器之间的网络流量。可选择的 backend 有 host-gw udp vxlan ipip gce alivpc awsvpc等模式，下面将通过实例演示host-gw udp vxlan三种模式。

环境准备

Host1: ubuntu16.04 docker18.06.0ce etcd-3.2.4 对外网卡ens33: 172.16.112.128

Host2: ubuntu16.04 docker18.06.0ce flanneld-0.10 对外网卡ens33: 172.16.112.133

Host3: ubuntu16.04 docker18.06.0ce flanneld-0.10 对外网卡ens33: 172.16.112.130

etcd安装(host1)

1 下载二进制安装包 etcd-v3.2.4-linux-amd64.tar.gz 解压后复制etcd 和 etcdctl到 /usr/local/bin/ 目录

2 创建文件/etc/etcd/etcd.conf

ETCD_DATA_DIR="/var/run/etcd"

ETCD_ADVERTISE_CLIENT_URLS="http://172.16.112.128:2379,http://127.0.0.1:2379"

ETCD_NAME="node-1"

ETCD_LISTEN_CLIENT_URLS="http://172.16.112.128:2379,http://127.0.0.1:2379"

3 创建 Service 文件/lib/system/system/etcd.service

[Unit]

Description=Etcd Server

Documentation=https://github.com/coreos/etcd

After=network.target

After=network-online.target

Wants=network-online.target

[Service]

User=root

Type=notify

EnvironmentFile=-/etc/etcd/etcd.conf

ExecStart=/usr/local/bin/etcd

LimitNOFILE=40000

[Install]

WantedBy=multi-user.target

4 启动Service，可以看到其运行状态正常

root@node-1:~# systemctl start etcd

systemctl status etcd

● etcd.service - Etcd Server

Loaded: loaded (/lib/systemd/system/etcd.service; disabled; vendor preset: enabled)

Active: active (running) since Fri 2018-09-07 03:23:49 PDT; 2 days ago

Docs: https://github.com/coreos/etcd

Main PID: 20497 (etcd)

Tasks: 7

Memory: 81.9M

CPU: 8min 46.959s

CGroup: /system.slice/etcd.service

└─20497 /usr/local/bin/etcd

5 创建/etc/flannel-config.json如下 (以host-gw为例)

root@node-1:~# cat /etc/flannel-config.json

{

"Network":"10.2.0.0/16",

"SubnetLen":24,

"Backend":{

"Type":"host-gw"

}

}

6 将之后flannel网络的分配信息存入etcd

root@node-1:~# etcdctl set /docker-subnet/network/config < /etc/flannel-config.json

{

"Network":"10.100.0.0/16",

"SubnetLen":24,

"Backend":{

"Type":"host-gw"

}

}

flannel 安装(host1)

下载二进制安装包flannel-v0.10.0-linux-amd64.tar.gz 解压后将 flanneld 和mk-docker-opts.sh复制到 /usr/local/bin/ 目录

创建Service文件/lib/system/system/flanneld.service

[Unit]

Description=Flanneld

After=network.target

Before=docker.service

[Service]

User=root

ExecStart=/usr/local/bin/flanneld --etcd-endpoints=http://172.16.112.128:2379 --iface=ens33 -etcd-prefix=/docker-subnet/network

Type=notify

LimitNOFILE=65536

3 启动flannel服务

root@node-2:~# systemctl start flanneld.service

root@node-2:~# systemctl status flanneld.service

● flanneld.service - Flanneld

Loaded: loaded (/lib/systemd/system/flanneld.service; static; vendor preset: enabled)

Active: active (running) since Mon 2018-09-10 01:32:26 PDT; 5s ago

Main PID: 26076 (flanneld)

Tasks: 7

Memory: 10.1M

CPU: 146ms

CGroup: /system.slice/flanneld.service

└─26076 /usr/local/bin/flanneld --etcd-endpoints=http://172.16.112.128:2379 --iface=ens33 -etcd-prefix=/docker-subnet/network

可以从subnet.env看到从hode-1上获得的子网信息

root@node-2:~# cat /run/flannel/subnet.env

FLANNEL_NETWORK=10.100.0.0/16

FLANNEL_SUBNET=10.100.50.1/24

FLANNEL_MTU=1500

FLANNEL_IPMASQ=false

4 执行 mk-docker-opts脚本，得到docker启动参数

root@node-2:~# mk-docker-opts.sh

root@node-2:~# cat /run/docker_opts.env

DOCKER_OPT_BIP=&