Chapter 4 Docker 网络
本次学习参考Datawhale开源地址:https://github.com/datawhalechina/team-learning-program/tree/master/Docker
学习目的
- 了解Docker 基础网络
- 学习Docker几种网络模式
- 学习Docker高级网络配置
- 创建一个点到点连接
一、Docker 基础网络
1、外部访问容器
容器中可以运行一些网络应用,要让外部也可以访问这些应用,可以通过-P
或-p
参数来指定端口映射。当使用-P
标记时,Docker
会随机映射一个端口到内部容器开放的网络端口。
使用docker container ls
可以看到,本地主机的 49153 被映射到了容器的 80 端口。此时访问本机的 32768 端口即可访问容器内 NGINX 默认页面。
$ docker run -d -P nginx:alpine
$ docker container ls -l
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
afe8d194310e nginx:alpine "/docker-entrypoint.…" 17 seconds ago Up 14 seconds 0.0.0.0:49153->80/tcp hungry_napier
同样的,可以通过docker logs
命令来查看访问记录。参考:https://www.cnblogs.com/xwgli/p/13674414.html
映射所有接口地址
使用hostPort:containerPort
格式本地的 80 端口映射到容器的 80 端口,可以执行
$ docker run -d -p 80:80 nginx:alpine
此时默认会绑定本地所有接口上的所有地址。
映射到指定地址的指定端口
可以使用ip:hostPort:containerPort
格式指定映射使用一个特定地址,比如localhost
地址127.0.0.1
$ docker run -d -p 127.0.0.1:80:80 nginx:alpine
映射到指定地址的任意端口
使用ip::containerPort
绑定localhost
的任意端口到容器的80端口,本地主机会自动分配一个端口。
$ docker run -d -p 127.0.0.1::80 nginx:alpine
还可以使用udp
标记来指定udp
端口
$ docker run -d -p 127.0.0.1:80:80/udp nginx:alpine
查看映射端口配置
使用docker port
来查看当前映射的端口配置,也可以查看到绑定的地址
$ docker port fa 80
0.0.0.0:32768
2、容器互联
一般可以使用--link
参数来使容器互联。随着 Docker
网络的完善,建议将容器加入自定义的Docker
网络来连接多个容器,而不是使用 --link
参数。
新建网络
下面先创建一个新的 Docker
网络。
$ docker network create -d bridge my-net
-d
参数指定Docker
网络类型,有bridge overlay
,其中overlay
网络类型用于Swarm mode
,在本小节中你可以忽略它。
连接容器
运行一个容器并连接到新建的my-net
网络
$ docker run -it --rm --name busybox1 --network my-net busybox sh
打开新的终端,再运行一个容器并加入到 my-net
网络
$ docker run -it --rm --name busybox2 --network my-net busybox sh
再打开一个新的终端查看容器信息
$ docker container ls
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b789a1c304f4 busybox "sh" About a minute ago Up 58 seconds busybox1
d19688995589 busybox "sh" 3 minutes ago Up 3 minutes busybox2
下面通过 ping
来证明busybox1
容器和busybox2
容器建立了互联关系。
进入busybox1
容器输入以下命令
$ sudo docker attach b789a1c304f4
/ # ping busybox2
PING busybox2 (172.18.0.2): 56 data bytes
64 bytes from 172.18.0.2: seq=0 ttl=64 time=0.157 ms
64 bytes from 172.18.0.2: seq=1 ttl=64 time=0.137 ms
64 bytes from 172.18.0.2: seq=2 ttl=64 time=0.090 ms
用ping
来测试连接busybox2
容器,它会解析成 172.19.0.3。
同理在busybox2
容器执行ping busybox1
,也会成功连接到。
这样,busybox1
容器和 busybox2
容器建立了互联关系。
Docker Compose
如果你有多个容器之间需要互相连接,推荐使用Docker Compose
。
3、配置DNS
Docker
利用虚拟文件来挂载容器的 3个相关配置文件,用以自定义配置容器的主机名和 DNS
在容器中使用 mount
命令可以看到挂载信息。
配置全部容器的 DNS ,也可以在 /etc/docker/daemon.json
文件中增加以下内容来设置。
{
"dns" : [
"114.114.114.114",
"8.8.8.8"
]
}
这样每次启动的容器 DNS 自动配置为 114.114.114.114 和8.8.8.8。使用以下命令来证明其已经生效。
$ docker run -it --rm ubuntu:18.04 cat etc/resolv.conf
nameserver 114.114.114.114
nameserver 8.8.8.8
如果用户想要手动指定容器的配置,可以在使用docker run
命令启动容器时加入-h HOSTNAME
或者--hostname=HOSTNAME
设定容器的主机名,它会被写到容器内的/etc/hostname 和 /etc/hosts
。但它在容器外部看不到,既不会在docker container ls
中显示,也不会在其他的容器的/etc/hosts
看到。
二、Docker的网络模式
可以通过docker network ls
查看网络,默认创建三种网络。
$ docker network ls
NETWORK ID NAME DRIVER SCOPE
b7e519a568d0 bridge bridge local
a94941ab254f host host local
3905f4a70856 my-net bridge local
5893bc10be77 none null local
常见网络的含义:
网络模式 | 简介 |
---|---|
Bridge | 为每一个容器分配、设置 IP 等,并将容器连接到一个 docker0 虚拟网桥,默认为该模式。 |
Host | 容器将不会虚拟出自己的网卡,配置自己的 IP 等,而是使用宿主机的 IP 和端口。 |
None | 容器有独立的 Network namespace,但并没有对其进行任何网络设置,如分配 veth pair 和网桥连接,IP 等。 |
Container | 新创建的容器不会创建自己的网卡和配置自己的 IP,而是和一个指定的容器共享 IP、端口范围等。 |
1、Bridge模式
当Docker
进程启动时,会在主机上创建一个名为docker0
的虚拟网桥,此主机上启动的Docker
容器会连接到这个虚拟网桥上,附加在其上的任何网卡之间都能自动转发数据包。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一个二层网络中。从docker0
子网中分配一个 IP 给容器使用,并设置 docker0
的 IP 地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair
设备,Docker
将 veth pair
设备的一端放在新创建的容器中,并命名为eth0
(容器的网卡),另一端放在主机中,以vethxxx
这样类似的名字命名,并将这个网络设备加入到 docker0
网桥中。可以通过brctl show
命令查看。
2、Host 模式
- host 网络模式需要在创建容器时通过参数
--net host
或者--network host
指定; - 采用 host 网络模式的 Docker Container,可以直接使用宿主机的 IP 地址与外界进行通信,若宿主机的 eth0 是一个公有 IP,那么容器也拥有这个公有 IP。同时容器内服务的端口也可以使用宿主机的端口,无需额外进行 NAT 转换;
- host 网络模式可以让容器共享宿主机网络栈,这样的好处是外部主机与容器直接通信,但是容器的网络缺少隔离性。
3、None模式
- none 网络模式是指禁用网络功能,只有 lo 接口 local 的简写,代表 127.0.0.1,即 localhost 本地环回接口。在创建容器时通过参数
--net none
或者--network none
指定; - none 网络模式即不为 Docker Container 创建任何的网络环境,容器内部就只能使用 loopback 网络设备,不会再有其他的网络资源。可以说 none 模式为 Docke Container 做了极少的网络设定,但是俗话说得好“少即是多”,在没有网络配置的情况下,作为 Docker 开发者,才能在这基础做其他无限多可能的网络定制开发。这也恰巧体现了 Docker 设计理念的开放。
4、Container 模式
- Container 网络模式是 Docker 中一种较为特别的网络的模式。在创建容器时通过参数
--net container:已运行的容器名称|ID
或者--network container:已运行的容器名称|ID
指定; - 处于这个模式下的 Docker 容器会共享一个网络栈,这样两个容器之间可以使用 localhost 高效快速通信。
三、高级网络配置
1、快速配置指南
下面是一个跟 Docker 网络相关的命令列表。
其中有些命令选项只有在 Docker 服务启动的时候才能配置,而且不能马上生效。
-b BRIDGE
或--bridge=BRIDGE
指定容器挂载的网桥--bip=CIDR
定制docker0
的掩码-H SOCKET...
或--host=SOCKET... Docker
服务端接收命令的通道--icc=true|false
是否支持容器之间进行通信--ip-forward=true|false
请看下文容器之间的通信--iptables=true|false
是否允许 Docker 添加iptables
规则--mtu=BYTES
容器网络中的MTU
下面2个命令选项既可以在启动服务时指定,也可以在启动容器时指定。在 Docker服务启动的时候指定则会成为默认值,后面执行 docker run
时可以覆盖设置的默认值。
--dns=IP_ADDRESS...
使用指定的DNS服务器--dns-search=DOMAIN...
指定DNS搜索域
最后这些选项只有在 docker run
执行时使用,因为它是针对容器的特性内容。
-h HOSTNAME
或--hostname=HOSTNAME
配置容器主机名--link=CONTAINER_NAME:ALIAS
添加到另一个容器的连接--net=bridge|none|container:NAME_or_ID|host
配置容器的桥接模式-p SPEC
或 --publish=SPEC` 映射容器端口到宿主主机-P or --publish-all=true|false
映射容器所有端口到宿主主机
2、容器访问控制
容器的访问控制,主要通过 Linux 上的 iptables
防火墙来进行管理和实现。iptables
是 Linux 上默认的防火墙软件,在大部分发行版中都自带。
容器访问外部网络
容器要想访问外部网络,需要本地系统的转发支持。在Linux 系统中,检查转发是否打开。
$ sysctl net.ipv4.ip_forward
net.ipv4.ip_forward = 1
如果为 0,说明没有开启转发,则需要手动打开。
$ sysctl -w net.ipv4.ip_forward=1
如果在启动 Docker 服务的时候设定 --ip-forward=true
, Docker 就会自动设定系统的 ip_forward
参数为 1。
容器之间访问
容器之间相互访问,需要两方面的支持。
- 容器的网络拓扑是否已经互联。默认情况下,所有容器都会被连接到
docker0
网桥上。 - 本地系统的防火墙软件
-- iptables
是否允许通过。
访问所有端口
当启动 Docker 服务(即 dockerd)的时候,默认会添加一条转发策略到本地主机 iptables 的 FORWARD 链上。策略为通过(ACCEPT
)还是禁止(DROP
)取决于配置--icc=true
(缺省值)还是 --icc=false
。当然,如果手动指定 --iptables=false
则不会添加 iptables
规则。
可见,默认情况下,不同容器之间是允许网络互通的。如果为了安全考虑,可以在 /etc/docker/daemon.json
文件中配置 {"icc": false}
来禁止它。
访问指定端口
在通过 -icc=false
关闭网络访问后,还可以通过 --link=CONTAINER_NAME:ALIAS
选项来访问容器的开放端口。
例如,在启动 Docker 服务时,可以同时使用 icc=false --iptables=true
参数来关闭允许相互的网络访问,并让 Docker 可以修改系统中的 iptables
规则。
此时,系统中的 iptables
规则可能是类似
$ sudo iptables -nL
...
Chain FORWARD (policy ACCEPT)
target prot opt source destination
DROP all -- 0.0.0.0/0 0.0.0.0/0
...
之后,启动容器(docker run
)时使用 --link=CONTAINER_NAME:ALIAS
选项。Docker 会在 iptable
中为 两个容器分别添加一条 ACCEPT
规则,允许相互访问开放的端口(取决于 Dockerfile
中的 EXPOSE
指令)。
当添加了 --link=CONTAINER_NAME:ALIAS
选项后,添加了 iptables
规则。
$ sudo iptables -nL
...
Chain FORWARD (policy ACCEPT)
target prot opt source destination
ACCEPT tcp -- 172.17.0.2 172.17.0.3 tcp spt:80
ACCEPT tcp -- 172.17.0.3 172.17.0.2 tcp dpt:80
DROP all -- 0.0.0.0/0 0.0.0.0/0
注意:--link=CONTAINER_NAME:ALIAS
中的 CONTAINER_NAME
目前必须是 Docker 分配的名字,或使用 --name
参数指定的名字。主机名则不会被识别。
3、端口映射实现
默认情况下,容器可以主动访问到外部网络的连接,但是外部网络无法访问到容器。
容器访问外部实现
容器所有到外部网络的连接,源地址都会被 NAT 成本地系统的 IP 地址。这是使用 iptables
的源地址伪装操作实现的。
查看主机的 NAT 规则。
$ sudo iptables -t nat -nL
...
Chain POSTROUTING (policy ACCEPT)
target prot opt source destination
MASQUERADE all -- 172.17.0.0/16 !172.17.0.0/16
...
其中,上述规则将所有源地址在 172.17.0.0/16
网段,目标地址为其他网段(外部网络)的流量动态伪装为从系统网卡发出。MASQUERADE 跟传统 SNAT 的好处是它能动态从网卡获取地址。
外部访问容器实现
容器允许外部访问,可以在 docker run
时候通过 -p
或 -P
参数来启用。
不管用那种办法,其实也是在本地的 iptable
的 nat 表中添加相应的规则。
使用 -P
时:
$ iptables -t nat -nL
...
Chain DOCKER (2 references)
target prot opt source destination
DNAT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:49153 to:172.17.0.2:80
使用 -p 80:80
时:
$ iptables -t nat -nL
Chain DOCKER (2 references)
target prot opt source destination
DNAT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:80 to:172.17.0.2:80
4、配置 docker0 网桥
Docker 服务默认会创建一个 docker0
网桥(其上有一个 docker0
内部接口),它在内核层连通了其他的物理或虚拟网卡,这就将所有容器和本地主机都放到同一个物理网络。
Docker 默认指定了 docker0
接口 的 IP 地址和子网掩码,让主机和容器之间可以通过网桥相互通信,它还给出了 MTU(接口允许接收的最大传输单元),通常是 1500 Bytes,或宿主主机网络路由上支持的默认值。这些值都可以在服务启动的时候进行配置。
--bip=CIDR
IP 地址加掩码格式,例如 192.168.1.5/24--mtu=BYTES
覆盖默认的 Docker mtu 配置
也可以在配置文件中配置 DOCKER_OPTS,然后重启服务。
由于目前 Docker 网桥是 Linux 网桥,用户可以使用 brctl show
来查看网桥和端口连接信息。
$ sudo brctl show
bridge name bridge id STP enabled interfaces
docker0 8000.3a1d7362b4ee no veth65f9
vethdda6
注:brctl
命令在 Debian、Ubuntu 中可以使用 sudo apt-get install bridge-utils
来安装。
每次创建一个新容器的时候,Docker 从可用的地址段中选择一个空闲的 IP 地址分配给容器的 eth0 端口。使用本地主机上 docker0
接口的 IP 作为所有容器的默认网关。
$ sudo docker run -i -t --rm base /bin/bash
$ ip addr show eth0
24: eth0: <BROADCAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 32:6f:e0:35:57:91 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.3/16 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::306f:e0ff:fe35:5791/64 scope link
valid_lft forever preferred_lft forever
$ ip route
default via 172.17.42.1 dev eth0
172.17.0.0/16 dev eth0 proto kernel scope link src 172.17.0.3
5、自定义网桥
除了默认的 docker0
网桥,用户也可以指定网桥来连接各个容器。
在启动 Docker 服务的时候,使用 -b BRIDGE
或--bridge=BRIDGE
来指定使用的网桥。
如果服务已经运行,那需要先停止服务,并删除旧的网桥。
$ sudo systemctl stop docker
$ sudo ip link set dev docker0 down
$ sudo brctl delbr docker0
然后创建一个网桥 bridge0
。
$ sudo brctl addbr bridge0
$ sudo ip addr add 192.168.5.1/24 dev bridge0
$ sudo ip link set dev bridge0 up
查看确认网桥创建并启动。
$ ip addr show bridge0
4: bridge0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state UP group default
link/ether 66:38:d0:0d:76:18 brd ff:ff:ff:ff:ff:ff
inet 192.168.5.1/24 scope global bridge0
valid_lft forever preferred_lft forever
在 Docker 配置文件 /etc/docker/daemon.json
中添加如下内容,即可将 Docker 默认桥接到创建的网桥上。
{
"bridge": "bridge0",
}
启动 Docker 服务。
新建一个容器,可以看到它已经桥接到了 bridge0
上。
可以继续用 brctl show
命令查看桥接的信息。另外,在容器中可以使用 ip addr
和 ip route
命令来查看 IP 地址配置和路由信息。
6、工具和示例
在介绍自定义网络拓扑之前,你可能会对一些外部工具和例子感兴趣:
pipework
Jérôme Petazzoni 编写了一个叫 pipework 的 shell 脚本,可以帮助用户在比较复杂的场景中完成容器的连接。
playground
Brandon Rhodes 创建了一个提供完整的 Docker 容器网络拓扑管理的 Python库,包括路由、NAT 防火墙;以及一些提供 HTTP
SMTP
POP
IMAP
Telnet
SSH
FTP
的服务器。
7、编辑网络配置文件
Docker 1.2.0 开始支持在运行中的容器里编辑 /etc/hosts
, /etc/hostname
和 /etc/resolv.conf
文件。
但是这些修改是临时的,只在运行的容器中保留,容器终止或重启后并不会被保存下来,也不会被 docker commit
提交。
实例:创建一个点到点连接
默认情况下,Docker 会将所有容器连接到由 docker0
提供的虚拟子网中。
用户有时候需要两个容器之间可以直连通信,而不用通过主机网桥进行桥接。
解决办法很简单:创建一对 peer
接口,分别放到两个容器中,配置成点到点链路类型即可。
以文章开头的两个busybox
容器为例,找到容器进程号,然后创建网络命名空间的跟踪文件。
$ docker inspect -f '{{.State.Pid}}' b789a1c304f4
10294
$ docker inspect -f '{{.State.Pid}}' d19688995589
10117
$ sudo mkdir -p /var/run/netns
$ sudo ln -s /proc/10294/ns/net /var/run/netns/10294
$ sudo ln -s /proc/10294/ns/net /var/run/netns/10294
创建一对 peer
接口,然后配置路由
$ sudo ip link add A type veth peer name B
$ sudo ip link set A netns 10294
$ sudo ip netns exec 10294 ip addr add 10.1.1.1/32 dev A
$ sudo ip netns exec 10294 ip link set A up
$ sudo ip netns exec 10294 ip route add 10.1.1.2/32 dev A
$ sudo ip link set B netns 10117
$ sudo ip netns exec 10117 ip addr add 10.1.1.2/32 dev B
$ sudo ip netns exec 10117 ip link set B up
$ sudo ip netns exec 10117 ip route add 10.1.1.1/32 dev B
现在这 2 个容器就可以相互 ping 通,并成功建立连接。
总结
Docker网络需要一定的计算机网络基础,理解起来就较快。其实整个Docker就是一个小的虚拟环境,因此学习Docker的过程中也是对整个计算机系统环境的学习。