Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务,简单来说,它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。
在Kubernetes的网络模型中,假设了每个物理节点应该具备一段“属于同一个内网IP段内”的“专用的子网IP”。例如:
节点1:10.1.46.0-24
节点2:10.1.77.0-24
但在默认的Docker配置中,每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是,不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到,也就是相互ping通。
Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则,从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址,并让属于不同节点上的容器能够直接通过内网IP通信。
所有的node节点都需要安装?络插件才能让所有的Pod加入到同一个局域网中。
二:Flannel工作原理
Flannel实质上是一种“覆盖网络(overlay network)”,也就是将TCP数据包装在另一种网络包里面进行路由转发和通信,目前已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式。
1. 数据从源容器中发出后,经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡,这是个P2P的虚拟网卡,flanneld服务监听在网卡的另外一端。
2.Flannel通过Etcd服务维护了一张节点间的路由表。
3. 源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务,数据到达以后被解包,然后直接进入目的节点的flannel0虚拟网卡,然后被转发到目的主机的docker0虚拟网卡,最后就像本机容器通信一下的有docker0路由到达目标容器。 三:Flannel的安装与配置
1.通过yum install flannel安装
2.service配置?件 /usr/lib/systemd/system/flanneld.service
点击(此处)折叠或打开
- [Unit]
- Description=Flanneld overlay address etcd agent
- After=network.target
- After=network-online.target
- Wants=network-online.target
- After=etcd.service
- Before=docker.service
-
- [Service]
- Type=notify
- EnvironmentFile=/etc/sysconfig/flanneld
- EnvironmentFile=-/etc/sysconfig/docker-network
- ExecStart=/usr/bin/flanneld-start -etcd-endpoints=${FLANNEL_ETCD_ENDPOINTS} -etcd-prefix=${FLANNEL_ETCD_PREFIX} $FLANNEL_OPTIONS
- ExecStartPost=/usr/libexec/flannel/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
- Restart=on-failure
-
- [Install]
- WantedBy=multi-user.target
- RequiredBy=docker.service
点击(此处)折叠或打开
- # Flanneld configuration options
-
- # etcd url location. Point this to the server where etcd runs
- FLANNEL_ETCD_ENDPOINTS="https://10.116.137.196:2379,https://10.116.82.28:2379,https://10.116.36.57:2379"
-
- # etcd config key. This is the configuration key that flannel queries
- # For address range assignment
- FLANNEL_ETCD_PREFIX="/kube-centos/network"
-
- # Any additional options that you want to pass
- FLANNEL_OPTIONS="-etcd-cafile=/etc/kubernetes/ssl/ca.pem -etcd-certfile=/etc/kubernetes/ssl/kubernetes.pem -etcd-keyfile=/etc/kubernetes/ssl/kubernetes-key.pem"
点击(此处)折叠或打开
- etcdctl --endpoints=https://10.116.137.196:2379,https://10.116.82.28:2379,https://10.116.36.57:2379 --ca-file=/etc/kubernetes/ssl/ca.pem --cert-file=/etc/kubernetes/ssl/kubernetes.pem --key-file=/etc/kubernetes/ssl/kubernetes-key.pem mk /kube-centos/network/config '{"Network":"10.1.37.0/16","SubnetLen":24,"Backend":{"Type":"vxlan"}}'
systemctl daemon-reload
systemctl enable flanneld
systemctl start flanneld
systemctl status flanneld
查看
点击(此处)折叠或打开
- etcdctl --endpoints=https://10.116.137.196:2379,https://10.116.82.28:2379,https://10.116.36.57:2379 --ca-file=/etc/kubernetes/ssl/ca.pem --cert-file=/etc/kubernetes/ssl/kubernetes.pem --key-file=/etc/kubernetes/ssl/kubernetes-key.pem ls /kube-centos/network/subnets
![](http://img.blog.itpub.net/blog/attachment/201803/15/28624388_1521096731PmFi.png?x-oss-process=style/bb)
点击(此处)折叠或打开
- etcdctl --endpoints=https://10.116.137.196:2379,https://10.116.82.28:2379,https://10.116.36.57:2379 --ca-file=/etc/kubernetes/ssl/ca.pem --cert-file=/etc/kubernetes/ssl/kubernetes.pem --key-file=/etc/kubernetes/ssl/kubernetes-key.pem get /kube-centos/network/subnets/10.1.46.0-24
![](http://img.blog.itpub.net/blog/attachment/201803/15/28624388_1521096980i6sn.png?x-oss-process=style/bb)
因为采用的是阿里云ECS服务器,这里的 PublicIP设置的是ECS的公网IP(
etcdctl set /flannel/network/subnets/10.1.46.0-24 '{ "PublicIP": "120.25.220.176" }')
四: flannel启动过程解析
flannel服务需要先于docker启动。flannel服务启动时主要做了以下几步的工作:
从etcd中获取network的配置信息划分subnet,并在etcd中进行注册将子网信息记录到/run/flannel/subnet.env中
cat /run/flannel/subnet.env
之后将会有一个脚本将subnet.env转写成一个docker的环境变量文件/run/flannel/docker
cat /run/flannel/docker
systemctl show docker将会发现 在安装flannel后自动生成配置
DropInPaths=/usr/lib/systemd/system/docker.service.d/flannel.conf
并引用
/run/flannel/docker
五: docker 配置
service文件, /usr/lib/systemd/system/docker.service
点击(此处)折叠或打开
- [Unit]
- Description=Docker Application Container Engine
- [Unit]
- Description=Docker Application Container Engine
- Documentation=http://docs.docker.com
- After=network.target
- Wants=docker-storage-setup.service
- Requires=docker-cleanup.timer
-
- [Service]
- Type=notify
- NotifyAccess=all
- KillMode=process
- EnvironmentFile=-/run/flannel/docker
- EnvironmentFile=-/run/flannel/subnet.env
- EnvironmentFile=-/etc/sysconfig/docker
- EnvironmentFile=-/etc/sysconfig/docker-storage
- EnvironmentFile=-/etc/sysconfig/docker-network
- Environment=GOTRACEBACK=crash
- Environment=DOCKER_HTTP_HOST_COMPAT=1
- Environment=PATH=/usr/libexec/docker:/usr/bin:/usr/sbin
- ExecStart=/usr/bin/dockerd \
- --exec-opt native.cgroupdriver=systemd \
- $DOCKER_OPT_BIP \
- $DOCKER_OPT_IPMASQ \
- $DOCKER_OPT_MTU \
- -s=overlay \
- --log-driver=json-file
- ExecReload=/bin/kill -s HUP $MAINPID
- LimitNOFILE=1048576
- LimitNPROC=1048576
- LimitCORE=infinity
- TimeoutStartSec=0
- Restart=on-abnormal
- MountFlags=slave
-
- [Install]
- WantedBy=multi-user.target
节点node1,node2上各启动一个容器,验证能否相互ping通
docker run -i -t centos /bin/bash
yum install net-tools -y
ifconfig
ping ip
![](http://img.blog.itpub.net/blog/attachment/201803/15/28624388_15210989295RlJ.png?x-oss-process=style/bb)
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/28624388/viewspace-2151891/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/28624388/viewspace-2151891/