docker容器网络

docker容器网络

Docker在安装后自动提供3种网络，可以使用docker network ls命令查看

[root@localhost ~]# docker network ls
NETWORK ID     NAME      DRIVER    SCOPE
55ddda74f67d   bridge    bridge    local
0f24bb6fa417   host      host      local
f270a0546081   none      null      local

docker的四种网络模式

网络模式	配置	说明
host	–network host	容器和宿主机共享Network namespace
container	–network container:NAME_OR_ID	容器和另外一个容器共享Network namespace
none	–network none	容器有独立的Network namespace， 但并没有对其进行任何网络设置， 如分配veth pair 和网桥连接，配置IP等
bridge	–network bridge	默认模式

Bridge桥接方式

当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。

从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备，Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0（容器的网卡），另一端放在主机中，以vethxxx这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过brctl show命令查看。

bridge模式是docker的默认网络模式，不写–network参数，就是bridge模式。使用docker run -p时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL查看。

Docker网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法通过直接Container-IP访问到容器。如果容器希望外部访问能够访问到，可以通过映射容器端口到宿主主机（端口映射），即docker run创建容器时候通过 -p 或 -P 参数来启用，访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。

[root@localhost ~]# docker run -it --name 01 --rm busybox
/ # 
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:AC:11:00:02  
          inet addr:172.17.0.2  Bcast:172.17.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:12 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:1016 (1016.0 B)  TX bytes:0 (0.0 B)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

/ # exit
[root@localhost ~]# docker container ls -a

Host 网络模式

host 模式是 bridge 桥接模式很好的补充。采用 host 模式的 Docker Container，可以直接使用 宿主机的 IP 地址与外界进行通信，若宿主机的 eth0 是一个公有 IP，那么容器也拥有这个公 有 IP。同时容器内服务的端口也可以使用宿主机的端口，无需额外进行 NAT 转换。当然， 有这样的方便，肯定会损失部分其他的特性，最明显的是 Docker Container 网络环境隔离性 的弱化，即容器不再拥有隔离、独立的网络栈。另外，使用 host 模式的 Docker Container 虽 然可以让容器内部的服务和传统情况无差别、无改造的使用，但是由于网络隔离性的弱 化，该容器会与宿主机共享竞争网络栈的使用;另外，容器内部将不再拥有所有的端口资 源，原因是部分端口资源已经被宿主机本身的服务占用，还有部分端口已经用以 bridge 网 络模式容器的端口映射。

[root@localhost ~]# docker run -it --name 02 --rm --network host busybox
/ # ifconfig
docker0   Link encap:Ethernet  HWaddr 02:42:1D:20:CD:00  
          inet addr:172.17.0.1  Bcast:172.17.255.255  Mask:255.255.0.0
          inet6 addr: fe80::42:1dff:fe20:cd00/64 Scope:Link
          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:13 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 B)  TX bytes:1406 (1.3 KiB)

ens33     Link encap:Ethernet  HWaddr 00:0C:29:39:EF:7E  
          inet addr:192.168.48.150  Bcast:192.168.48.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe39:ef7e/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:171775 errors:0 dropped:0 overruns:0 frame:0
          TX packets:258937 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:43051465 (41.0 MiB)  TX bytes:50262712 (47.9 MiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

Container 网络模式:

(1) 查找 other container(即需要被共享网络环境的容器)的网络 namespace;
(2) 将新创建的 Docker Container(也是需要共享其他网络的容器)的 namespace，使用 other container 的 namespace。
Docker Container 的 other container 网络模式，可以用来更好的服务于容器间的通信。 在这种模式下的 Docker Container 可以通过 localhost 来访问 namespace 下的其他容器，传输 效率较高。虽然多个容器共享网络环境，但是多个容器形成的整体依然与宿主机以及其他 容器形成网络隔离。另外，这种模式还节约了一定数量的网络资源。但是需要注意的是，它并没有改善容器与宿主机以外世界通信的情况。

启动第一个容器

[root@localhost ~]# docker run -it --name 03 --rm busybox
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:AC:11:00:02  
          inet addr:172.17.0.3  Bcast:172.17.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:9 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:806 (806.0 B)  TX bytes:0 (0.0 B)

启动第二个容器

[root@localhost ~]# docker run -it --name 04 --rm busybox
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:AC:11:00:02  
          inet addr:172.17.0.2  Bcast:172.17.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:7 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:586 (586.0 B)  TX bytes:0 (0.0 B)

可以看到名为b2的容器IP地址是172.17.0.2，与第一个容器的IP地址不是一样的，也就是说并没有共享网络，此时如果我们将第二个容器的启动方式改变一下，就可以使名为b2的容器IP与B1容器IP一致，也即共享IP，但不共享文件系统。

[root@localhost ~]# docker run -it --name 04 --rm --network container:03 busybox
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:AC:11:00:03  
          inet addr:172.17.0.3  Bcast:172.17.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:11 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:866 (866.0 B)  TX bytes:0 (0.0 B)

此时我们在b1容器上创建一个目录

/ # mkdir /tmp/data
/ # ls /tmp
data

到b2容器上检查/tmp目录会发现并没有这个目录，因为文件系统是处于隔离状态，仅仅是共享了网络而已.

在b2容器上部署一个站点

/ # echo 'hello world' > /tmp/index.html
/ # ls /tmp
index.html
/ # httpd -h /tmp
/ # netstat -antl
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       
tcp        0      0 :::80                   :::*                    LISTEN 

在b1容器上用本地地址去访问此站点

/ # wget -O - -q 127.0.0.1:80
hello world

None 网络模式:

网络环境为 none，即不为 Docker Container 任何的网络环境。一旦 Docker Container 采用了 none 网络模式，那么容器内部就只能使用 loopback 网络设备，不会再有其他的网络资源。 可以说 none 模式为 Docker Container 做了极少的网络设定，但是俗话说得好“少即是多”，在 没有网络配置的情况下，作为 Docker 开发者，才能在这基础做其他无限多可能的网络定制 开发。这也恰巧体现了 Docker 设计理念的开放。

[root@localhost ~]# docker run -it --name 01 --network none --rm busybox
/ # ifconfig -a
lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

Linux内核实现名称空间的创建

ip netns命令

可以借助ip netns命令来完成对 Network Namespace 的各种操作。ip netns命令来自于iproute安装包，一般系统会默认安装，如果没有的话，请自行安装。

注意：ip netns命令修改网络配置时需要 sudo 权限。

可以通过ip netns命令完成对Network Namespace 的相关操作，可以通过ip netns help查看命令帮助信息：

[root@localhost ~]# ip netns help
Usage:  ip netns list
        ip netns add NAME
        ip netns attach NAME PID
        ip netns set NAME NETNSID
        ip [-all] netns delete [NAME]
        ip netns identify [PID]
        ip netns pids NAME
        ip [-all] netns exec [NAME] cmd ...
        ip netns monitor
        ip netns list-id [target-nsid POSITIVE-INT] [nsid POSITIVE-INT]
NETNSID := auto | POSITIVE-INT

默认情况下，Linux系统中是没有任何 Network Namespace的，所以ip netns list命令不会返回任何信息。

创建网络命名空间

通过命令创建一个名为bs0的命名空间：

[root@localhost ~]# ip netns list
[root@localhost ~]# ip netns add bs0
[root@localhost ~]# ip netns list
bs0

新创建的 Network Namespace 会出现在/var/run/netns/目录下。如果相同名字的 namespace 已经存在，命令会报不能创建命名空间文件 “/var/run/netns/bs0”： File exists的错误。

[root@localhost ~]# ls /var/run/netns/
bs0
[root@localhost ~]# ip netns add bs0
Cannot create namespace file "/var/run/netns/bs0": File exists

对于每个 Network Namespace 来说，它会有自己独立的网卡、路由表、ARP 表、iptables 等和网络相关的资源。

操作网络命名空间

ip命令提供了子命令可以在对应的 Network Namespace 中执行命令。ip netns exec

查看新创建 Network Namespace 的网卡信息

[root@localhost ~]# ip netns exec bs0 ip addr
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

可以看到，新创建的Network Namespace中会默认创建一个lo回环网卡，此时网卡处于关闭状态。此时，尝试去 ping 该lo回环网卡，会提示Network is unachable

[root@localhost ~]# ip netns exec bs0 ping 127.0.0.1
connect: Network is unreachable

通过下面的命令启用lo回环网卡：

[root@localhost ~]# ip netns exec bs0 ip link set lo up
[root@localhost ~]# ip netns exec bs0 ping 127.0.0.1
PING 127.0.0.1 (127.0.0.1) 56(84) bytes of data.
64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.030 ms
64 bytes from 127.0.0.1: icmp_seq=2 ttl=64 time=0.027 ms
64 bytes from 127.0.0.1: icmp_seq=3 ttl=64 time=0.047 ms

转移设备

我们可以在不同的 Network Namespace 之间转移设备（如veth）。由于一个设备只能属于一个 Network Namespace ，所以转移后在这个 Network Namespace 内就看不到这个设备了。

其中，veth设备属于可转移设备，而很多其它设备（如lo、vxlan、ppp、bridge等）是不可以转移的。

veth pair

veth pair 全称是 Virtual Ethernet Pair，是一个成对的端口，所有从这对端口一 端进入的数据包都将从另一端出来，反之也是一样。
引入veth pair是为了在不同的 Network Namespace 直接进行通信，利用它可以直接将两个 Network Namespace 连接起来。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GkgHWrWM-1660101220770)(http://itxiaowangshu.net.cn/mweb/15812245703612.jpg)]

创建对

26: veth0@veth1: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 26:59:c5:9c:a7:6e brd ff:ff:ff:ff:ff:ff
27: veth1@veth0: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 9e:56:59:67:80:a7 brd ff:ff:ff:ff:ff:ff

可以看到，此时系统中新增了一对veth pair，将veth0和veth1两个虚拟网卡连接了起来，此时这对 veth pair 处于“未启用”状态

实现Network Namespace间通信

下面我们利用veth pair实现两个不同的 Network Namespace 之间的通信。刚才我们已经创建了一个名为bs0的 Network Namespace，下面再创建一个信息Network Namespace，命名为bs1

[root@localhost ~]# ip netns add bs1
[root@localhost ~]# ip netns list
bs1
bs0

然后我们将veth0加入到bs0，将veth1加入到bs1

[root@localhost ~]# ip link set veth0 netns bs0
[root@localhost ~]# ip link set veth1 netns bs1

然后我们分别为这对veth pair配置上ip地址，并启用它们

[root@localhost ~]# ip netns exec bs0 ip link set veth0 up
[root@localhost ~]# ip netns exec bs0 ip addr add 10.0.0.1/24 dev veth0
[root@localhost ~]# ip netns exec bs1 ip link set lo up
[root@localhost ~]# ip netns exec bs1 ip link set veth1 up
[root@localhost ~]# ip netns exec bs1 ip addr add 10.0.0.2/24 dev veth1

查看这对 veth pair 的状态

26: veth0@if27: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 26:59:c5:9c:a7:6e brd ff:ff:ff:ff:ff:ff link-netns bs1
    inet 10.0.0.1/24 scope global veth0
       valid_lft forever preferred_lft forever
    inet6 fe80::2459:c5ff:fe9c:a76e/64 scope link 
       valid_lft forever preferred_lft forever

27: veth1@if26: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 9e:56:59:67:80:a7 brd ff:ff:ff:ff:ff:ff link-netns bs0
    inet 10.0.0.2/24 scope global veth1
       valid_lft forever preferred_lft forever
    inet6 fe80::9c56:59ff:fe67:80a7/64 scope link 
       valid_lft forever preferred_lft forever

从上面可以看出，我们已经成功启用了这个veth pair，并为每个veth设备分配了对应的ip地址。我们尝试在bs1中访问bs0中的ip地址：

[root@localhost ~]# ip netns exec bs1 ping 10.0.0.1
PING 10.0.0.1 (10.0.0.1) 56(84) bytes of data.
64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.039 ms
64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.043 ms

可以看到，veth pair成功实现了两个不同Network Namespace之间的网络交互。

veth设备重命名

[root@localhost ~]# ip netns exec bs0 ip link set veth0 down
[root@localhost ~]# ip netns exec bs0 ip link set dev veth0 name eth0
[root@localhost ~]# ip netns exec bs0 ifconfig -a
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.0.0.1  netmask 255.255.255.0  broadcast 0.0.0.0
        inet6 fe80::30c4:23ff:fedd:a71c  prefixlen 64  scopeid 0x20<link>
        ether 32:c4:23:dd:a7:1c  txqueuelen 1000  (Ethernet)
        RX packets 12  bytes 928 (928.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 20  bytes 1576 (1.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
[root@localhost ~]# ip netns exec bs0 ip link set eth0 up

容器的常用操作

查看容器的主机名

[root@localhost ~]# docker run -it --name 01 --network bridge --rm busybox
/ # hostname
1ba8e8089178

在容器启动时注入主机名

[root@localhost ~]# docker run -it --name 01 --network bridge --hostname xiaowangshu --rm busybox 
/ # hostname
xiaowangshu
/ # cat /etc/hosts
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2      xiaowangshu
/ # cat /etc/resolv.conf
# Generated by NetworkManager
search localdomain
nameserver 192.168.48.2
/ # ping www.baidu.com
PING www.baidu.com (182.61.200.7): 56 data bytes
64 bytes from 182.61.200.7: seq=0 ttl=127 time=21.341 ms
64 bytes from 182.61.200.7: seq=1 ttl=127 time=21.430 ms

手动指定容器要使用的DNS

[root@localhost ~]# docker run -it --name 01 --network bridge --hostname xiaowangshu --dns 114.114.114.114 --rm busybox
/ # cat /etc/resolv.conf
search localdomain
nameserver 114.114.114.114
/ # nslookup -type=a www.baidu.com
Server:         114.114.114.114
Address:        114.114.114.114:53

Non-authoritative answer:
www.baidu.com   canonical name = www.a.shifen.com
Name:   www.a.shifen.com
Address: 182.61.200.6
Name:   www.a.shifen.com
Address: 182.61.200.7

手动往/etc/hosts文件中注入主机名到IP地址的映射

[root@localhost ~]# docker run -it --name 01 --network bridge --hostname xiaowangshu --add-host www.a.com:1.1.1.1 --rm busybox
/ # cat /etc/hosts
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
1.1.1.1 www.a.com
172.17.0.2      xiaowangshu