docker和k8s网络模型复盘

网络模式简介

Docker和k8s跟着老师学了一遍，容器化技术及其编排如此强大，最近让我想不通的是docker及k8s的网络通信是如何实现的，无论是虚拟机还是物理机都有自己的ip，网卡，虚拟网卡等等，然而容器也有自己的ip地址，到了大规模容器编排的阶段，如此大量的容器网络访问管理，虽然了解到他们都有自己的网卡，k8s也有flannel来解决容器通信，但是仍感觉不够透彻，在此通过网上了解和学习理解进行一些梳理，不见得能够彻底理解，仅作复习。

常见网络模型

首先看一下虚拟机常用的网络模式：

1. bridged(桥接模式) ，在桥接模式下，你需要手工为虚拟 系统配置IP地址、子网掩码，而且还要和宿主机器处于同一网段，这样虚拟系统才能和宿主机器进行通信。同时，由于这个虚拟系统是局域网中的一个独立的主机 系统，那么就可以手工配置它的TCP/IP配置信息，以实现通过局域网的网关或路由器访问互联网。
2. NAT(网络地址转换模式)，在NAT网络中，会使用到VMnet8虚拟交换机，Host上的VMware Network Adapter VMnet8虚拟网卡被连接到VMnet8交换机上，来与Guest进行通信，但是VMware Network Adapter VMnet8虚拟网卡仅仅是用于和VMnet8网段通信用的，它并不为VMnet8网段提供路由功能，处于虚拟NAT网络下的Guest是使用虚拟的NAT服务器连接的Internet的。
3. host-only(主机模式) ，在某些特殊的网络调试环境中，要求将真实环境和虚拟环境隔离开，这时你就可采用host-only模式。在host-only模式中，所有的虚拟系统是可以相互通信的，但虚拟系统和真实的网络是被隔离开的。

docker网络模式

安装Docker时，它会自动创建三个网络，bridge（创建容器默认连接到此网络）、 none 、host

1. host：容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。
2. Container：创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围。
3. None：该模式关闭了容器的网络功能。
4. Bridge：此模式会为每一个容器分配、设置IP等，并将容器连接到一个docker0虚拟网桥，通过docker0网桥以及Iptables nat表配置与宿主机通信。

默认模式Bridge详解

当Docker server启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配IP了，Docker会从RFC1918所定义的私有IP网段中，选择一个和宿主机不同的IP地址和子网分配给docker0，连接到docker0的容器就从这个子网中选择一个未占用的IP使用。
Docker完成以上网络配置的过程大致是这样的：

1. 在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。
2. Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0。另一端放在主机中，以veth65f9这样类似的名字命名，并将这个网络设备加入到docker0网桥中，可以通过brctl show命令查看。
3. 从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。

Kubernetes网络通信原理

首先，K8s是容器的编排和管理，最小组成其实不是容器，是pod，物理机或者虚拟机叫node，pod是基础单元，pod里可以有多个容器，也可以只有一个容器，同一个pod的容器彼此是共享网络和主机配置的，换句话说，彼此是可以直接localhost通信的，类似于同一台机器上进行通信，所以这里面是无所谓隔离和安全一说，对外而言就是一个环境，所以pod就是这个环境的业务实体。

Flannel NetWork原理：

K8S 的网络特征:
每个POD 一个IP (IP peer POD)，所有POD 通过IP 直接访问其他POD 而不管POD 是否在同一台物理机上，POD 内的所有容器共享一个LINUX NET NAMESPACE (网络堆栈), POD 内的容器, 都可以使用localhost 来访问pod 内的其他容器.

Flannel为每个主机提供独立的子网，整个集群的网络信息存储在etcd上。对于跨主机的转发，目标容器的IP地址，需要从etcd获取。
flannel组建一个大二层扁平网络，pod的ip分配由flannel统一分配，通讯过程也是走flannel的网桥。
每个node上面都会创建一个flannel0虚拟网卡，用于跨node之间通讯。所以容器直接可以直接使用pod id进行通讯。
跨节点通讯时，发送端数据会从docker0路由到flannel0虚拟网卡，接收端数据会从flannel0路由到docker0。

网络访问步骤如下：

• IP数据报被封装并通过容器的eth0发送。
• Container1的eth0通过veth对与Docker0交互并将数据包发送到Docker0。然后Docker0转发包。
• Docker0确定Container3的IP地址，通过查询本地路由表到外部容器，并将数据包发送到虚拟NIC Flannel0。
• Flannel0收到的数据包被转发到Flanneld进程。
  Flanneld进程封装了数据包通过查询etcd维护的路由表并发送数据包通过主机的eth0。
• 数据包确定网络中的目标主机主机。
• 目的主机的Flanneld进程监听8285端口，负责解封包。
• 解封装的数据包将转发到虚拟NICFlannel0。
• Flannel0查询路由表，解封包，并将数据包发送到Docker0。
• Docker0确定目标容器并发送包到目标容器。

以上是通过网络查询到的内容借此复习学习过的知识，也再次了解一下容器化的网络模型，部分为转载自网络博客，说实话对于容器化的网络模型还仅停留在一个粗略的理解阶段，只能多方查询学习理解，以此作为一个学习记录。