Docker容器网络管理

1. Docker容器的虚拟化网络

1.1 虚拟化网络

• Linux内核支持六种名称空间，只要在用户空间有相应的客户端工具，都可以对对应的名称空间进行操作。

  • 主机名和域名的叫：UTS
  • 用户的叫：USER
  • 挂载文件系统的：Mount
  • 进程间通信的：IPC
  • 进程ID的：Pid
  • 网络的：Net

• 网络作为docker容器化实现的6个名称空间的其中之一，是必不可少的。其在Linux内核2.6时已经被加载进内核支持了。

• 网络名称空间主要用于实现网络设备和协议栈的隔离

• Linux内核支持二层和三层设备的模拟，宿主机的docker0就是用软件来实现的具有交换功能的虚拟二层设备，docker中的网卡设备是成对出现的，好比网线的两头，一头处于docker中，另外一头在docker0桥上，这个使用brctl工具就能实现。

• Network Namespace 是 Linux 内核提供的功能，是实现网络虚拟化的重要功能，它能创建多个隔离的网络空间，它们有独自网络栈信息。不管是虚拟机还是容器，运行的时候仿佛自己都在独立的网络中。而且不同Network Namespace的资源相互不可见，彼此之间无法通信。

• 假如我们的物理机有4块物理网卡，我们要创建4个名称空间，而这些设备是可以单独关联至某个单独的名称空间使用的
  

如上图所示

• 假如我们把第一块网卡分配给第一个名称空间，第二块分给第二个名称空间，第三块分给第三个名称空间，第四块分给第四个名称空间。此时其它名称空间都是看不见当前所在名称空间的，因为一个设备只能属于一个名称空间。

• 这种方式使得每一个名称空间都能配置IP地址，并且与外部网络直接通信，因为它们使用的是物理网卡。

• 但如果我们所拥有的名称空间数量超过物理网卡数量呢？此时我们可以使用虚拟网卡设备，用纯软件的方式来模拟一组设备来使用。Linux内核级支持2种级别设备的模拟，一种是二层设备，一种是三层设备。

二层设备(链路层)

• 链路层，实现报文转发的设备。利用内核对二层设备的模拟，创建虚拟网卡接口，这种网络接口是成对出现的，模拟为一根网线的两头。其中一头插在主机上，另一头插在交换机上。

• 内核原生支持二层虚拟网桥设备，用软件来构建交换机。比如bridge-utils工具的brctl来实现。

• 利用软件交换机和软件实现的名称空间，如此就可模拟一个主机连接到交换机中，以实现网络连接的功能。两个名称空间相当于连接到同一台交换机中的两台主机。

三层设备(软件交换机)

• OVS：Open VSwitch 开源的虚拟交换机，能模拟实现高级的三层网络设备如VLAN，VxLAN，GRE等等，它不属于Linux内核本身的模块，因此需要额外安装。它是由思科等众多网络设备生产公司开发的，其功能非常强大。

• SDN：软件定义网络/软件驱动网络，需要在硬件层面上支持虚拟化网络，还需要在每个主机上构建复杂的虚拟化网络，来运行多个虚拟机或者容器。

Linux内核模拟的二层设备，每个网络接口设备是成对出现的，可以模拟为一根网线的两端，其中一端模拟主机的虚拟网卡，另一端模拟虚拟交换机，就相当于让一个主机连到一个交换机上去。Linux内核原生支持二层虚拟网桥设备，即用软件虚拟交换机的功能。如下图所示：

那么此时如果再有一个名称空间，它有创建了一对虚拟网卡，一端连接名称空间，一端连接虚拟交换机，此时就相当于两个名称空间连接到了同一个交换机网络中，此时如果两个名称空间的网卡地址配置在同一网段，那么很显然他们之间是可以互相通信的。如下图所示：

从网络通信的物理设备到网卡都是用纯软件的方式来实现，这种实现方式就叫做虚拟化网络。

1.2 单节点容器间通信

如果在同一个物理机上的两个容器想通信，我们的办法就是在这台主机上建立一个虚拟交换机，而后让两个容器各自用纯软件的方式创建一对虚拟网卡，一半在容器上，一半在虚拟交换机上，从而实现通信。如下图所示：

这就是单节点上两个容器间的通信方式。单节点上两个容器之间的通信也有一些复杂情况，比如我们期望构建的容器要跨交换机通信呢？

我们做两个虚拟交换机，两个交换机上各自连接不同的容器，如上图所示，此时如果要C1和C3通信又该如何实现呢？其实我们可以通过名称空间创建一对网卡，一端连SW1，另一端连SW2，这样一来两个交换机就连起来了，照理说这样一来C1和C3这两个处于不同交换机的容器就可以实现通信了，但是这样一来又存在另一个问题，那就是如果C1和C3在不同网络呢？如果不在同一网络我们就必须要通过路由转发才能使其通信，也就是我们得在两台交换机之间加一个路由器，其实Linux内核本身就是支持路由转发的，只需要我们将路由转发功能打开即可。此时我们可以再启动一个容器，这个容器里面就跑一个内核，并将其转发功能打开，这样一来就模拟了一台路由器，通过这台路由器来实现路由转发。

1.3 不同节点容器间通信

如上图所示，此时如果C1要与C5进行通信又该如何实现呢？
方式有：

桥接：

• 把host的物理网卡当做交换机使用，各个容器都有自己的虚拟网卡/mac地址，如果需要和本host通信，则将目的mac指向host的虚拟网卡即可。如此可以让C1和C5通信。

• 然而这种方式的代价很大，如果都是桥接则所有容器/主机都在同一网络平面上，非常容易产生风暴，隔离性很差。

• 因此，在大规模的虚拟化或者容器的场景中，不能选用这种方式。除非使用大二层的网络技术将其隔离，否则，都不应该直接桥接。

NAT

• 如果希望对外通信，则应该使用nat技术而不是桥接。

• 如果C3和C5通信，C3将网关指向了S1，物理机上打开核心转发功能。报文：C3 -> S1 ->(路由表，转发) -> 外部网络。但是报文无法回来，因为C3是私有地址。因此，在C3的报文离开主机前，将IP转换为S1主机上的IP地址，这就是源地址转换。

• 如此C5可直接回复给S1。而S1内部的nat表可知道，该报文实际上是属于C3的，因此会自动转发给C3。

• 上述通信必须经过nat实现，而且两级的nat代理。因为C5可能也是nat内部。因此S1并看不到C5，除非将C5 DNAT发布出去。

• 因此，比如将C5发布到S2的地址和端口，由S2自动将其请求转换到C5中。

• 经过SNAT和DNAT转换，效率不高。而且通信的双方并看不到真正的对方。其好处是，网络易于管理。

叠加网络Overlay Network

这种网络方式不用完全暴露主机，也不用完全隐藏主机。其方式如下：

• 多个host，创建虚拟桥，让VM连接到虚拟桥上。
• 在虚拟桥上创建隧道，让C3直接看到C5
• 物理机可直接通信，C3和C5在同一个地址段内。C3先将报文送给桥，而桥知道C5并不在本地，于是将报文通过物理网卡发出去：在使用隧道转发出去前，报文C3|C5再封装一层IP首部：H1|H2
• H2拆开第一层封装，看到C3|C5，于是将报文转发给C5.
• 上述实现两级的三层封装，使用一个IP承载另一个IP，这就是隧道技术。如此C3和C5就可以直接通信。

Overlay Network会将报文进行隧道转发，也就是在报文发出去之前要为其添加一个IP首部，也就是上图的1.1和1.2这部分，这里的1.1是源，1.2是目标，当宿主机2收到报文后解封装发现要找的目标容器是C2，于是把包转发给C2。

2. Docker容器网络

Docker在安装后自动提供3种网络，可以使用docker network ls命令查看

[root@docker ~]# docker network ls
NETWORK ID     NAME      DRIVER    SCOPE
7e86682d45e8   bridge    bridge    local
c5372c67d91d   host      host      local
7094ca2195a3   none      null      local

• Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP直接通信。

2.1 Docker的四种网络模式

网络模式	配置	说明
host	–network host	容器和宿主机共享Network namespace
container	–network container:NAME_OR_ID	容器和另外一个容器共享Network namespace
none	–network none	容器有独立的Network namespace， 但并没有对其进行任何网络设置， 如分配veth pair 和网桥连接，配置IP等
bridge	–network bridge	默认模式

• Docker创建容器时，使用选项–network来指定使用哪种网络模型。默认default为bridge （docker0）

Docker网络模型

• Closed container：只有loop接口，就是none类型

• Bridged container A：bridge网络类型，容器网络接入到docker0网络上

• joined container A：container网络类型，让两个容器有一部分名称空间隔离（User、Mount、Pid），这样两个容器间就拥有同一个网络接口，网络协议栈

• Open container：开放式网络：直接共享物理机的三个名称空间（UTS、IPC、Net），世界使用物理主机的网卡通信，赋予容器管理物理主机网络的特权，也就是host网络类型

2.2 bridge模式

• 当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。

• 从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备，Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0（容器的网卡），另一端放在主机中，以vethxxx这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过brctl show命令查看。

• bridge模式是docker的默认网络模式，不写–network参数，就是bridge模式。使用docker run -p时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL查看。

bridge模式如下图所示：

假设上图的docker2中运行了一个nginx，大家来想几个问题：

   同主机间两个容器间是否可以直接通信？
   比如在docker1上能不能直接访问到docker2的nginx站点？
   在宿主机上能否直接访问到docker2的nginx站点？
   在另一台主机上如何访问node1上的这个nginx站点呢？DNAT发布？

• Docker网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法通过直接Container-IP访问到容器。
• 如果容器希望外部访问能够访问到，可以通过映射容器端口到宿主主机（端口映射），即docker run创建容器时候通过 -p 或 -P 参数来启用，访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。

2.3 container模式

• 这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

container模式如下图所示：

2.4 host模式

• 如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。

• 使用host模式的容器可以直接使用宿主机的IP地址与外界通信，容器内部的服务端口也可以使用宿主机的端口，不需要进行NAT，host最大的优势就是网络性能比较好，但是docker host上已经使用的端口就不能再用了，网络的隔离性不好。

Host模式如下图所示：

2.5 none模式

• 使用none模式，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。也就是说，这个Docker容器没有网卡、IP、路由等信息。需要我们自己为Docker容器添加网卡、配置IP等。

• 这种网络模式下容器只有lo回环网络，没有其他网卡。none模式可以在容器创建时通过–network none来指定。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。

应用场景：

• 启动一个容器处理数据，比如转换数据格式
• 一些后台的计算和处理任务
• none模式如下图所示：
  

docker network inspect bridge   #查看bridge网络的详细配置