Kubernetes-k8s网络模型原理

Kubernetes 采用的是基于扁平地址空间的、非NAT的网络模型，每个Pod有自己唯一的IP地址。

另外需要注意的是：
网络是由系统管理员或CNI(container network interface)插件建立的，而非K8S本身。
K8S并不会要求用户使用指定的网络技术，但是会授权Pod（容器）在不同节点上的相互通信。

同节点Pod之间的通信

在容器启动前，会为容器创建一个虚拟Ethernet接口对，这个接口对类似于管道的两端，其中一端在主机命名空间中，另外一端在容器命名空间中，并命名为eth0。在主机命名空间的接口会绑定到网桥。网桥的地址段会取IP赋值给容器的eth0接口。

不同节点上的Pod通信

我们已经知道一个节点上的容器都会连接到同一网桥，因此要让运行在不同节点上的容器之间能够通信，这些节点的网桥就需要以某种方式连接起来。
跨整个集群的Pod的IP地址必须是唯一的，所有跨节点的网桥必须使用不重叠的网络地址段，以防止不同节点上的Pod拿到同一IP地址，即确保没有IP地址冲突。
如上图所示，当报文从A节点上的容器发送到B节点上的容器时，报文会先通过veth接口对到网桥，再由网桥到A节点的物理适配器，再通过网线传输到B节点的物理适配器，再通过B的网桥，经过接口对到达目标容器。

注意：
上述情形仅在节点连接到相同网关，之间没有任何路由设备时有效。否则，路由设备会因为IP私有产生丢包现象，除非设置路由规则。但随着节点的增加，路由的配置会变得非常困难。因此我们使用SDN（软件定义网络）技术来简化此类问题，SDN可以忽略底层网络拓扑，使其就像连接到同一网关。

Pod与Service

在不同节点上的Pod通信中，我们知道了Pod是以IP地址进行通信，但Kubernetes 的集群中， Pod 可能会频繁的销毁和创建，也就是说 Pod 的 IP 不是固定的。
为了解决这个问题，Service 提供了访问 Pod 的抽象层，即为一组功能相同的Pod提供单一不变的接入点资源。
无论后端的 Pod 如何变化，Service 都作为稳定的前端对外提供服务。
同时，Service 还提供了高可用和负载均衡功能，Service 负责将请求转发给正确的 Pod。

CNI插件

为了使容器之间的通信更加方便，Google 和 CoreOS 主导制定了一个容器网络标准CNI(Conteinre Network Interface) 。
k8s官网：https://kubernetes.io/docs/concepts/cluster-administration/addons/
CNI可允许K8S配置任何CNI插件，常见的CNI插件有以下几种：

Flannel

Flannel是由CoreOS开发的项目，是容器编排系统中最成熟的网络结构示例之一，旨在实现更好的容器间和主机间网络。

与其他方案相比，Flannel相对容易安装和配置。它被打包为单个二进制文件flanneld，许多常见的Kubernetes集群部署工具和许多Kubernetes发行版都可以默认安装Flannel。Flannel可以使用Kubernetes集群的现有etcd集群来使用API存储其状态信息，因此不需要专用的数据存储。

总的来说，Flannel是大多数用户的不错选择。从管理角度来看，它提供了一个简单的网络模型，用户只需要一些基础知识，就可以设置适合大多数用例的环境。一般来说，在初期使用Flannel是一个稳妥安全的选择，直到你开始需要一些它无法提供的东西。

详细参考 https://github.com/coreos/flannel

Calico

Calico是Kubernetes生态系统中另一种流行的网络选择，它提供收费的技术支持。虽然Flannel被公认为是最简单的选择，但Calico以其性能、灵活性而闻名。Calico的功能更为全面，更为复杂。它不仅提供主机和pod之间的网络连接，还涉及网络安全和管理。Calico CNI插件在CNI框架内封装了Calico的功能。
在一个新配置的Kubernetes集群上，用户可以通过应用单个manifest文件快速部署Calico。与Flannel不同，Calico不使用overlay网络。相反，Calico配置第3层网络，该网络使用BGP路由协议（边界网关协议，用于管理边缘路由器之间数据包的路由方式）在主机之间路由数据包。这意味着在主机之间移动时，不需要将数据包包装在额外的封装层中。BGP路由机制可以本地引导数据包，而无需额外在流量层中打包流量。
在Calico插件中，用户可以自定义网络规则，提高安全性并控制网络环境。因此，如果在你的应用场景中，对于网络的控制要求严格，那Calico应该会是你的首选。
https://github.com/projectcalico/cni-plugin

Romana

Romana是Panic Networks在2016年新提出的开源项目，旨在解决Overlay方案给网络带来的开销。
虽然目标和Calico基本一致，但其采取的方法却截然不同，具体项目的发展有待观察。

Weave Nets

大家都叫惯了weave，实际上目前该产品的名字叫做Weave Nets。
Weave是由Weaveworks提供的一种插件，它提供的模式是在集群中的节点之间创建网状的overlay网络。

为了创建网络，Weave依赖于网络中每台主机上安装的路由组件。然后，这些路由器交换拓扑信息，以维护可用网络环境的最新视图。当需要将流量发送到位于不同节点上的pod时，Weave路由组件会自动决定是通过“快速数据路径”发送，还是回退到“sleeve”分组转发的方法。

与Calico一样，Weave也为Kubernetes集群提供网络策略功能。设置Weave时，网络策略会自动安装和配置，因此除了添加网络规则之外，用户无需进行其他配置。一个其他网络方案都没有、Weave独有的功能，是对整个网络的简单加密。虽然这会增加相当多的网络开销，但Weave可以使用NaCl加密（http://nacl.cr.yp.to）来为sleeve流量自动加密所有路由流量，而对于快速数据路径流量，因为它需要加密内核中的VXLAN流量，Weave会使用IPsec ESP来加密快速数据路径流量。

对于那些寻求功能丰富的网络、同时希望不要增加大量复杂性或管理难度的人来说，Weave是一个很好的选择。它设置起来相对容易，提供了许多内置和自动配置的功能，并且可以在其他解决方案可能出现故障的场景下提供智能路由。网状拓扑结构确实会限制可以合理容纳的网络的大小，不过对于大多数用户来说，这也不是一个大问题。此外，Weave也提供收费的技术支持，可以为企业用户提供故障排除等等技术服务。