Kubernetes学习4--容器之间通讯方式及Flannel工作原理

接着上一篇的创建完pod后，自然会考虑到容器之间的通讯方式，也整理总结其通讯方式并介绍下Flannel的工作原理。

一. 容器之间通讯方式

k8s里面容器是存在于pod里面的，所以容器之间通讯，一般分为三种类型：
（1） pod 访问service服务
（2） pod内部容器之间
（3） pod 与 pod 容器之间

1. pod 访问service服务

此方式在上篇文章介绍过，其通过暴露主机IP和端口的形式进行通讯，此篇不再介绍了。

2. pod内部容器之间

这种情况下容器通讯比较简单，因为pod内部的容器是共享网络空间的，所以容器直接可以使用localhost访问其他容器。
k8s在启动容器的时候会先启动一个 Pause容器，这个容器就是实现这个功能的：
每个Pod里运行着一个特殊的被称之为Pause的容器，其他容器则为业务容器，这些业务容器共享Pause容器的网络栈和Volume挂载卷，因此他们之间通信和数据交换更为高效，在设计时我们可以充分利用这一特性将一组密切相关的服务进程放入同一个Pod中。

3. pod 与 pod 容器之间

此种类型又分为两种情况：
（1） 两个pod在一台节点上：此时是利用docker默认的自身网桥方式互连容器的。
（2） 两个pod在不同节点上：这种情况k8s官方推荐的是使用flannel组建一个大二层扁平网络，pod的ip分配由flannel统一分配，通讯过程也是走flannel的网桥方式。（flannel 的集群配置方法已在Kubernetes学习2--集群部署与搭建介绍过）
接下来就详细介绍下 flannel 工作原理吧。

二. Flannel工作原理

Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。

Flannel实质上是一种“ 覆盖网络(overlay network)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。 

默认的节点间数据通信方式是UDP转发，在Flannel的GitHub页面有如下的一张原理图：

简单的说flannel做了三件事情：

1. 数据从源容器中发出后，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡，这是个P2P的虚拟网卡，flanneld服务监听在网卡的另外一端。 Flannel也是通过修改Node的路由表实现这个效果的。

2. 源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后直接进入目的节点的flannel0虚拟网卡，然后被转发到目的主机的docker0虚拟网卡，最后就像本机容器通信一样由docker0路由到达目标容器。 

3. 使每个结点上的容器分配的地址不冲突。Flannel通过Etcd分配了每个节点可用的IP地址段后，再修改Docker的启动参数。“--bip=X.X.X.X/X”这个参数，它限制了所在节点容器获得的IP范围。

结合部署集群的情况

Flannel启动之后会创建一个文件 subnet.env

vim /run/flannel/subnet.env

因此，以此次集群部署为例，通俗解析下不同节点上pod容器通讯过程：（ 假设容器1是 nginx ，容器2是 tomcat ）

1. 在发送端节点node1上，数据请求从 nginx 容器（10.0.46.2:2379）中发出后，首先经由所在主机的 docker0虚拟网卡（10.0.46.1）转发到 flannel0虚拟网卡（10.0.46.0）。

2. 接着 flannel 服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务。在此包中，包含有 outer-ip（source：192.168.8.227  dest：192.168.8.228），还有 inner-ip（source：10.0.46.2:2379  dest：10.0.90.2:8080）等数据信息。

3. 然后在接收端节点node2上，数据到达以后被解包，直接进入目的节点的 flannel0虚拟网卡中（10.0.90.0），且被转发到目的主机的 docker0虚拟网卡（10.0.90.1），最后就像本机容器通信一样由docker0路由到达目标 tomcat 容器（10.0.90.2:8080）。