etcd&flannel 在CoreOS上的配置

在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。

Flannel 是由 CoreOS 维护的一个虚拟网络方案。这个方案经过精心测试，完全可用于生产环境，它也是最容易设置的。
使用Flannel ，添加一台新机器到集群时，Flannel 做了三件事：
1、使用 etcd 为新增机器分配一个子网
2、在宿主机上创建一个虚拟桥接接口（名为 docker0 的桥接器）
3、设置一个网络转发后端
由于Flannel使用桥接接口转发网络包，从一个容器发往另一个容器的网络包将历经两个网络栈。

Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。

Flannel的工作原理
Flannel实质上是一种“覆盖网络(overlay network)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式。

默认的节点间数据通信方式是UDP转发，在Flannel的GitHub页面有如下的一张原理图：

数据从源容器中发出后，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡，这是个P2P的虚拟网卡，flanneld服务监听在网卡的另外一端。

Flannel通过Etcd服务维护了一张节点间的路由表，源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后直接进入目的节点的flannel0虚拟网卡，然后被转发到目的主机的docker0虚拟网卡，最后就像本机容器通信一下的有docker0路由到达目标容器。

 

服务器A 10.27.155.1

服务器B 10.27.155.22

服务器C 10.27.155.7

 

服务器A 

nohup etcd2 --name infra0 --data-dir . --initial-advertise-peer-urls http://10.27.155.1:2380 \ --listen-peer-urls http://10.27.155.1:2380 \ --listen-client-urls http://10.27.155.1:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://10.27.155.1:2379 \ --initial-cluster-token etcd-cluster-1 \ --initial-cluster infra0=http://10.27.155.1:2380,infra1=http://10.27.155.22:2380,infra2=http://10.27.155.7:2380 \ --initial-cluster-state new >> etcd.log 2>&1 &

 

服务器B

nohup etcd2 --name infra1 --data-dir . --initial-advertise-peer-urls http://10.27.155.22:2380 \ --listen-peer-urls http://10.27.155.22:2380 \ --listen-client-urls http://10.27.155.22:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://10.27.155.22:2379 \ --initial-cluster-token etcd-cluster-1 \ --initial-cluster infra0=http://10.27.155.1:2380,infra1=http://10.27.155.22:2380,infra2=http://10.27.155.7:2380 \ --initial-cluster-state new >> etcd.log 2>&1 &

 

服务器C

nohup etcd2 --name infra2 --data-dir . --initial-advertise-peer-urls http://10.27.155.7:2380 \ --listen-peer-urls http://10.27.155.7:2380 \ --listen-client-urls http://10.27.155.7:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://10.27.155.7:2379 \ --initial-cluster-token etcd-cluster-1 \ --initial-cluster infra0=http://10.27.155.1:2380,infra1=http://10.27.155.22:2380,infra2=http://10.27.155.7:2380 \ --initial-cluster-state new >> etcd.log 2>&1 &

 

服务器A 

etcdctl mk /coreos.com/network/config '{"Network":"172.17.0.0/16", "SubnetMin": "172.17.1.0", "SubnetMax": "172.17.254.0"}'

 

分别在每台服务器上启动并配置Flannel

cd /var/flannel nohup ./flanneld >> flanneld.log 2>&1 & ./mk-docker-opts.sh -i                      #生成环境变量 source /run/flannel/subnet.env              #将环境变量生效 sudo ifconfig docker0 ${FLANNEL_SUBNET}     #设置docker0的网卡ip systemctl restart docker

转载于:https://my.oschina.net/elandyang/blog/892106