docker容器网络及其配置

docker容器网络及其配置

---

虚拟化网络

Network Namespace 是 Linux 内核提供的功能，是实现网络虚拟化的重要功能，它能创建多个隔离的网络空间，它们有独自网络栈信息。不管是虚拟机还是容器，运行的时候仿佛自己都在独立的网络中。而且不同Network Namespace的资源相互不可见，彼此之间无法通信。

假如我们的物理机有4块物理网卡，我们要创建4个名称空间，而这些设备是可以单独关联至某个单独的名称空间使用的

如上图所示，把第一块网卡分配给第一个名称空间，第二块分给第二个名称空间，第三块分给第三个名称空间，第四块分给第四个名称空间。此时其它名称空间都是看不见当前所在名称空间的，因为一个设备只能属于一个名称空间。

这种方式使得每一个名称空间都能配置IP地址，并且与外部网络直接通信，因为它们使用的是物理网卡。

但如果我们所拥有的名称空间数量超过物理网卡数量呢？此时我们可以使用虚拟网卡设备，用纯软件的方式来模拟一组设备来使用。Linux内核级支持2种级别设备的模拟，一种是二层设备，一种是三层设备。

Linux内核模拟的二层设备，每个网络接口设备是成对出现的，可以模拟为一根网线的两端，其中一端模拟主机的虚拟网卡，另一端模拟虚拟交换机，就相当于让一个主机连到一个交换机上去。Linux内核原生支持二层虚拟网桥设备，即用软件虚拟交换机的功能。如下图所示：

那么此时如果再有一个名称空间，它有创建了一对虚拟网卡，一端连接名称空间，一端连接虚拟交换机，此时就相当于两个名称空间连接到了同一个交换机网络中，此时如果两个名称空间的网卡地址配置在同一网段，那么很显然他们之间是可以互相通信的。如下图所示：

从网络通信的物理设备到网卡都是用纯软件的方式来实现，这种实现方式就叫做虚拟化网络。

单主机与多主机的Docker网络

• 从覆盖范围上可以将Docker网络划分为单主机上的网络和跨主机的网络。
• 对于大多数单主机部署来说，可以使用网络在容器之间、容器与主机之间进行数据交换。
• 在多主机部署中，除了需要考虑单主机上容器之间的通信，更重要的是要解决多主机之间的通信。
• Docker网络作用域可以是local（本地）或swarm（集群）。local作用域仅在Docker主机范围内提供连接和网络服务。swarm作用域则提供集群范围的连接和网络服务。

单节点容器间通信

如果在同一个物理机上的两个容器想通信，我们的办法就是在这台主机上建立一个虚拟交换机，而后让两个容器各自用纯软件的方式创建一对虚拟网卡，一半在容器上，一半在虚拟交换机上，从而实现通信。如下图所示：

这就是单节点上两个容器间的通信方式。单节点上两个容器之间的通信也有一些复杂情况，比如我们期望构建的容器要跨交换机通信呢？

我们做两个虚拟交换机，两个交换机上各自连接不同的容器，如上图所示，此时如果要C1和C3通信又该如何实现呢？其实我们可以通过名称空间创建一对网卡，一端连SW1，另一端连SW2，这样一来两个交换机就连起来了，照理说这样一来C1和C3这两个处于不同交换机的容器就可以实现通信了，但是这样一来又存在另一个问题，那就是如果C1和C3在不同网络呢？如果不在同一网络我们就必须要通过路由转发才能使其通信，也就是我们得在两台交换机之间加一个路由器，其实Linux内核本身就是支持路由转发的，只需要我们将路由转发功能打开即可。此时我们可以再启动一个容器，这个容器里面就跑一个内核，并将其转发功能打开，这样一来就模拟了一台路由器，通过这台路由器来实现路由转发。

不同节点容器间通信

如上图所示，此时如果C1要与C5进行通信又该如何实现呢？如果我们采用桥接的方式，很容易产生广播风暴，因此，在大规模的虚拟机或容器的场景中，使用桥接的方式无疑是自取灭亡，所以我们不应该使用桥接的方式来实现通信。

如果一来，我们既不能桥接，又需要与外部来实现通信，那就只能使用NAT技术了。通过DNAT将容器的端口暴露到宿主机上，通过访问宿主机的端口来实现访问容器内部的目的，而在请求端我们需要做SNAT将数据包通过宿主机的真实网卡转发出去。但这样做的话，因为要进行两次NAT转换，所以效率会比较低。

此时我们可以采用一种叫做Overlay Network（叠加网络）的技术来实现不同节点间容器的相互通信功能。

Overlay Network会将报文进行隧道转发，也就是在报文发出去之前要为其添加一个IP首部，也就是上图的1.1和1.2这部分，这里的1.1是源，1.2是目标，当宿主机2收到报文后解封装发现要找的目标容器是C2，于是把包转发给C2。

Docker网络驱动

• bridge：桥接网络，这是默认的网络驱动程序。
• host：主机网络。
• overlay：覆盖网络。
• macvlan：将MAC地址分配给容器，使容器作为网络上的物理设备。
• none：表示关闭容器的所有网络连接。
  网络插件：可以通过Docker安装和使用第三方网络插件。

选择Docker网络驱动的基本原则

• 用户自定义桥接网络最适合用于同一个Docker主机上运行的多个容器之间需要通信的场景。
• host网络最适用于当网络栈不能与Docker主机隔离，而容器的其他方面需要被隔离的场景。
• overlay网络适用于不同Docker主机上运行的容器需要通信的场景，或者多个应用程序通过Swarm集群服务一起工作的场景。
• macvlan网络适用于从虚拟机迁移过来的场景，或者容器需要像网络上的物理机一样，拥有独立MAC地址的场景。
• 第三方网络插件适用于将Docker与专用网络栈进行集成的场景。

docker容器网络

Docker在安装后自动提供3种网络，可以使用docker network ls命令查看

[root@localhost ~]# docker network ls
NETWORK ID     NAME      DRIVER    SCOPE
cc99e2970450   bridge    bridge    local
251fadf495db   host      host      local
886d7812e11c   none      null      local

Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP直接通信。

docker的4种网络模式

网络模式	配置	说明
host	–network host	容器和宿主机共享Network namespace
container	–network container:NAME_OR_ID	容器和另外一个容器共享Network namespace
none	–network none	容器有独立的Network namespace，但并没有对其进行任何网络设置，如分配veth pair 和网桥连接，配置IP等
bridge	–network bridge	默认模式

bridge模式

当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。

从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备，Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0（容器的网卡），另一端放在主机中，以vethxxx这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过brctl show命令查看。

bridge模式是docker的默认网络模式，不写–network参数，就是bridge模式。使用docker run -p时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL查看。

bridge模式如下图所示：

假设上图的docker2中运行了一个nginx，大家来想几个问题：

• 同主机间两个容器间是否可以直接通信？比如在docker1上能不能直接访问到docker2的nginx站点？
• 在宿主机上能否直接访问到docker2的nginx站点？
• 在另一台主机上如何访问node1上的这个nginx站点呢？DNAT发布？

Docker网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法通过直接Container-IP访问到容器。如果容器希望外部访问能够访问到，可以通过映射容器端口到宿主主机（端口映射），即docker run创建容器时候通过 -p 或 -P 参数来启用，访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。

container模式

这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

container模式如下图所示：

host模式

如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。

使用host模式的容器可以直接使用宿主机的IP地址与外界通信，容器内部的服务端口也可以使用宿主机的端口，不需要进行NAT，host最大的优势就是网络性能比较好，但是docker host上已经使用的端口就不能再用了，网络的隔离性不好。

Host模式如下图所示：

none模式

使用none模式，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。也就是说，这个Docker容器没有网卡、IP、路由等信息。需要我们自己为Docker容器添加网卡、配置IP等。

这种网络模式下容器只有lo回环网络，没有其他网卡。none模式可以在容器创建时通过–network none来指定。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。

应用场景：

• 启动一个容器处理数据，比如转换数据格式
• 一些后台的计算和处理任务

none模式如下图所示：

docker network inspect bridge #查看bridge网络的详细配置

[root@localhost ~]# docker network inspect bridge  
[
    {
        "Name": "bridge",
        "Id": "c31a5817d93d3962a40f97de7632ebf9527dcdcfa62e436acf88929263533295",
        "Created": "2022-08-28T14:57:26.526859183+08:00",
        "Scope": "local",
        "Driver": "bridge",
        "EnableIPv6": false,

Linux内核实现名称空间的创建

ip netns命令

可以借助ip netns命令来完成对 Network Namespace 的各种操作。ip netns命令来自于iproute安装包，一般系统会默认安装，如果没有的话，请自行安装。

注意：ip netns命令修改网络配置时需要 sudo 权限。

可以通过ip netns命令完成对Network Namespace 的相关操作，可以通过ip netns help查看命令帮助信息：

[root@localhost ~]# ip netns help
Usage:	ip netns list
	ip netns add NAME
	ip netns attach NAME PID
	ip netns set NAME NETNSID
	ip [-all] netns delete [NAME]
	ip netns identify [PID]
	ip netns pids NAME
	ip [-all] netns exec [NAME] cmd ...
	ip netns monitor
	ip netns list-id [target-nsid POSITIVE-INT] [nsid POSITIVE-INT]
NETNSID := auto | POSITIVE-INT

默认情况下，Linux系统中是没有任何 Network Namespace的，所以ip netns list命令不会返回任何信息。

创建Network Namespace

通过命令创建一个名为ns0的命名空间：

[root@localhost ~]# ip netns list
[root@localhost ~]# ip netns add ns0
[root@localhost ~]# ip netns list
ns0

新创建的 Network Namespace 会出现在/var/run/netns/目录下。如果相同名字的 namespace 已经存在，命令会报Cannot create namespace file “/var/run/netns/ns0”: File exists的错误。

[root@localhost ~]# ls /var/run/netns/
ns0

[root@localhost ~]# ip netns add ns0
Cannot create namespace file "/var/run/netns/ns0": File exists

对于每个 Network Namespace 来说，它会有自己独立的网卡、路由表、ARP 表、iptables 等和网络相关的资源。

操作Network Namespace

ip命令提供了ip netns exec子命令可以在对应的 Network Namespace 中执行命令。

查看新创建 Network Namespace 的网卡信息