1.1 Docker网络实现原理
docker 使用linux 桥接,在宿主机虚拟一个docker 容器网桥(docker0) ,docker 启动一个容器时会根据docker 网桥的网段分配给容器一个IP地址,称为Container-IP,同时Docker 网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥,这样容器之间就能够通过容器的 Container-IP 直接通信。
docker 网桥是宿主机虚拟出来的,并不是真实存在的网络设备,外部网络是无法寻址到的,这也意味着外部网络无法直接通过Container-IP 访问到容器。如果容器希望外部访问能够访问到,可以通过映射容器端口到宿主机(端口映射),即 docker run 创建容器时候,通过 -p 或者 -P 参数来启用。访问容器的时候,就通过 [宿主机IP]:[映射端口] 访问容器。
1.2 为容器创建端口映射
端口映射,底层原理实际是做了一个DNAT转换。
方法一:随机映射端口(从32768开始) -P(大P)
docker run -itd --name=为容器指定名称 -P 镜像名称
docker run -itd --name test1 -P nginx #随机映射端口(从32768开始)
方法二:指定映射端口 -p(小p)
docker run -itd --name=为容器指定名称 -p 宿主机端口:容器端口 镜像名称
docker run -itd --name test2 -p 43000:80 nginx #指定映射端口
例1:
#随机映射端口
docker run -itd --name web1 -P nginx
#查看映射端口号
docker ps -a
#使用宿主机IP:映射端口访问测试
curl http://192.168.126.22:49154
[root@zy2 ~]# docker run -itd --name web1 -P nginx
32dd3964a7910a8a7a5aa3e25936d2840ce9f220dff638afd7c89b4bc3b2ea2f
[root@zy2 ~]# docker ps -a #查看映射端口号,为49154
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
32dd3964a791 nginx "/docker-entrypoint.…" 6 seconds ago Up 4 seconds 0.0.0.0:49154->80/tcp, :::49154->80/tcp web1
[root@zy2 ~]# curl http://192.168.126.22:49154 #使用宿主机IP:映射端口访问测试
例2
#指定映射端口,将容器的80端口映射到宿主机的48888端口
docker run -itd --name web2 -p 48888:80 nginx
#使用宿主机IP:映射端口访问测试
curl http://192.168.126.22:48888
#指定映射端口,将容器的80端口映射到宿主机的48888端口
[root@zy2 ~]# docker run -itd --name web2 -p 48888:80 nginx
b3f51b63019564657a59b373eabfc1befb83545f8f0e2c11b97866618b25aada
[root@zy2 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b3f51b630195 nginx "/docker-entrypoint.…" 4 seconds ago Up 3 seconds 0.0.0.0:48888->80/tcp, :::48888->80/tcp web2
32dd3964a791 nginx "/docker-entrypoint.…" 7 minutes ago Up 7 minutes 0.0.0.0:49154->80/tcp, :::49154->80/tcp web1
#使用宿主机IP:映射端口访问测试
[root@zy2 ~]# curl http://192.168.126.22:48888
#查看宿主机监听的端口号
[root@zy2 ~]# netstat -natp|grep docker
tcp 0 0 0.0.0.0:48888 0.0.0.0:* LISTEN 2547/docker-proxy
tcp 0 0 0.0.0.0:49154 0.0.0.0:* LISTEN 2349/docker-proxy
tcp6 0 0 :::48888 :::* LISTEN 2553/docker-proxy
tcp6 0 0 :::49154 :::* LISTEN 2357/docker-proxy
#查看iptables规则,端口映射实际是做了一个DNAT转换,通过nat表进行转发的
[root@zy2 ~]# iptables -nL -t nat
......
Chain DOCKER (2 references)
target prot opt source destination
RETURN all -- 0.0.0.0/0 0.0.0.0/0
DNAT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:49154 to:172.17.0.2:80
DNAT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:48888 to:172.17.0.3:80
端口映射,底层原理实际是做了一个DNAT转换。
192.168.126.22:49154 映射到 172.17.0.2:80,192.168.126.22:48888 映射到 172.17.0.3:80。
查看容器的输出和日志信息
docker logs 容器的ID/名称
二、Docker的网络模式
2.1 Docker的网络模式(4+1)
- Host: 容器不会虚拟出自己的网卡,配置主机的IP等,而是使用宿主机的IP和端口
- Container: 创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP,端口范围
- None: 该模式关闭了容器的网络功能。
- Bridge: 默认为该模式,此模式会为每一个容器分配,设置IP等,并将容器连接到一个docker0 的虚拟网桥,通过docker 0 网桥以及iptables nat 表配置与宿主机通信。
- 自定义网络
在安装Docker 时,它会自动创建三个网络:bridge(创建容器默认连接到此网络),none,host。
2.2 查看docker 的网络列表
在安装Docker 时,它会自动创建三个网络:bridge(创建容器默认连接到此网络),none,host
#查看docker的网络列表
docker network ls
或者
docker network list
2.3 指定容器网络模式
#使用docker' run 创建Docker容器时,可以用--net 或--network 选项指定容器的网络模式
●host模式:使用 --net=host 指定。
●none模式:使用 --net=none 指定。
●container模式:使用--net=container:NAME/ID指定。
●bridge模式:使用 --net=bridge 指定,默认设置,可省略。
三、Docker网络模式详解
3.1 host模式
- 相当于Vmware中的桥接模式,与宿主机在同一个网络中,但没有独立IP地址。
- Docker使用了Linux的Namespaces技术来进行资源隔离,如PID Namespace隔离进程,Mount Namespace隔离文件系统,Network Namespace隔离网络等。
- 一个Network Namespace提供了一 份独立的网络环境,包括网卡、路由、iptable规则等都与其他的Network Namespace隔离。
- 一个Docker容器一般会分配一个独立的NetworkNamespace。但如果启动容器的时候使用host模式,那么这个容器将不会获得一个独立的NetworkNamespace,而是和宿主机共用一个NetworkNamespace。容器将不会虚拟出自己的网卡、配置自己的IP等,而是使用宿主机的IP和端口。
容器和宿主机共享网络命名空间,但没有独立IP地址,使用宿主机的IP地址,和宿主机共享端口范围,例如宿主机使用了80端口,那么容器不能使用80端口。这种模式比较方便,但不安全
例:
#创建容器tt1,指定网络模式为 host
#容器和宿主机共享网络命名空间,但没有独立IP地址。使用宿主机的IP,和宿主机共享端口范围。
docker run -itd --name tt1 --net=host nginx
#访问宿主机的ip和80端口,则可以访问到tt1的nginx服务
curl http://192.168.126.22:80
3.2 container模式
- container模式: 使用
–net=contatiner:NAME/ID
指定。 - 这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡、配置自己的IP,而是和一个指定的容器共享IP,端口范围等。 可以在一定程度上节省网络资源,容器内部依然不会拥有所有端口。
- 同样,两个容器除了网络方面,其他的如文件系统,进程列表等还是隔离的。
- 两个容器的进程可以通过lo网卡设备通信。
新创建的B容器和A容器共享命名空间。假如A容器使用了80端口,B容器就不能使用80端口。
例:
docker run -itd --name test1 centos:7 /bin/bash #--name 选项可以给容器创建一个自定义名称
docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3ed82355f811 centos:7 "/bin/bash" 5 days ago Up 6 hours test1
docker inspect -f '{{.State.Pid}}' 3ed82355f811 #查看容器进程号
25945
ls -l /proc/25495/ns #查看容器的进程、网络、文件系统等命名空间编号
lrwxrwxrwx 1 root root 0 1月 7 11:29 ipc -> ipc:[4026532572]
lrwxrwxrwx 1 root root 0 1月 7 11:29 mnt -> mnt:[4026532569]
lrwxrwxrwx 1 root root 0 1月 7 11:27 net -> net:[4026532575]
lrwxrwxrwx 1 root root 0 1月 7 11:29 pid -> pid:[4026532573]
lrwxrwxrwx 1 root root 0 1月 7 12:22 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 1月 7 11:29 uts -> uts:[4026532570]
docker run -itd --name test2 --net=container:3ed82355f811 centos:7 /bin/bash
docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ff96bc43dd27 centos:7 "/bin/bash" 48 seconds ago Up 46 seconds test2
3ed82355f811 centos:7 "/bin/bash" 58 minutes ago Up 58 minutes test1
docker inspect -f '{{.State.Pid}}' ff96bc43dd27
27123
ls -l /proc/27123/ns #查看可以发现两个容器的 net namespace 编号相同
lrwxrwxrwx 1 root root 0 1月 7 12:27 ipc -> ipc:[4026532692]
lrwxrwxrwx 1 root root 0 1月 7 12:27 mnt -> mnt:[4026532690]
lrwxrwxrwx 1 root root 0 1月 7 12:27 net -> net:[4026532575]
lrwxrwxrwx 1 root root 0 1月 7 12:27 pid -> pid:[4026532693]
lrwxrwxrwx 1 root root 0 1月 7 12:27 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 1月 7 12:27 uts -> uts:[4026532691]
3.3 none 模式
- none模式:使用 --net=none 指定
- 使用none 模式,docker 容器有自己的network Namespace ,但是并不为Docker 容器进行任何网络配置。也就是说,这个Docker 容器没有网卡,ip, 路由等信息。
- 这种网络模式下,容器只有lo 回环网络,没有其他网卡。
- 这种类型没有办法联网,但是封闭的网络能很好的保证容器的安全性。
- 该容器将完全独立于网络,用户可以根据需要为容器添加网卡。此模式拥有所有端口。(none网络模式配置网络
- 特殊情况下才会用到,一般不用
3.4 bridge 模式
bridge模式是docker的默认网络模式,不用--net参数, 就是bridge模式。
相当于Vmware中的nat模式,容器使用独立network Namespace, 并连接到docker0虚拟网卡I通过docker0网桥以及iptables nat表配置与宿主机通信,此模式会为每. 个容器分配Network Namespace、 设置IP等,并将一一个 主机上的Docker 容器连接到一个虚拟网桥上。
(1)当Docker进程启动时,会在主机上创建一个名为docker0的虛拟网桥,此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一“个二层网络中。
(2)从docker0子网中分配一个IP给容器使用(分配一个和网桥相同网段内的IP,网桥作为网关),并设置docker0的IP地址为容器的默认网关。在主机上创建一对虛拟网卡veth pair设备。veth设备总是成对出现的,它们组成了一个数据的通道,数据从一个设备进入,就会从另一个设备出来。因此,veth设备常用来连接两个网络设备。
(3)Docker将 veth pair设备的一端放在新创建的容器中,并命名为eth0 (容器的网卡),另一端放在主机中,以veth*这样类似的名字命名,并将这个网络设备加入到docker0 网桥中。可以通过brctl show命令查看。
(4)使用docker run -P 时,docker实际 是在iptables做了DNAT规则,实现端口转发功能。可以使用iptables -t nat -vnL
查看。
每个容器有自己独立的命名空间。容器之间通过网桥转发进行通信,成对的网络设备veth pair。
#bridge模式是docker的默认网络模式,不用--net参数,就是bridge模式。
[root@zy2 ~]# docker run -itd --name tt2 centos:7 /bin/bash
776cc22e5eb3cceae09ad99a8630915abf0e0dd2cf2d6e691078c71ffa7cad58
#查看容器tt2的网络模式,为默认网络模式。
[root@zy2 ~]# docker inspect tt2 | grep -i 'networkmode'
"NetworkMode": "default",
3.5 自定义网络模式
直接使用bridge 模式,是无法指定IP运行docker 的,例如执行以下命令就会报错:
[root@zy2 ~]# docker run -itd --name tt3 --network bridge --ip 172.18.0.10 centos:7 bash
47a226d858b1c29ea7ca995024395bcb9ea781dc70a18d0c4ff23471658219d3
docker: Error response from daemon: user specified IP address is supported on user defined networks only.
创建自定义网络:
需要先自定义网络,再指定IP运行docker。
#(1)先自定义网络,设置网卡地址池,网卡名,网络模式名称
[root@zy2 ~]# docker network create --subnet=172.18.0.0/16 --opt "com.docker.network.bridge.name"="docker1" mynetwork
12a643f6908df836a9c4c04eb4df96d902f079d1b96ffef1607f79456ca9fe0e
-------------注释---------------------------------------------------------------------
●docker1 :为执行ifconfig -a 命令时显示的网卡名,如果不使用 --opt 参数指定此名称,使用 ifconfig -a 查看网卡的网络信息时,看到的将会是类似 br-110eb56a0b22这样的名字,这显然不好记。
●mynetwork:为执行"docker network list" 命令时,显示的 bridge 网络模式名称。
-------------------------------------------------------------------------------------
#查看docker的网络列表
[root@zy2 ~]# docker network ls
NETWORK ID NAME DRIVER SCOPE
87068f0dcef0 bridge bridge local
13c2115317cd host host local
12a643f6908d mynetwork bridge local #已生成自定义网络
10d4299d0f88 none null local
#(2)再使用该网段内的地址,创建自定义网络的容器test6
[root@yuji ~]# docker run -itd --name test6 --net mynetwork --ip 172.18.0.10 centos:7 /bin/bash
d2cb1f26d8de3f9de55df679357bc62a8bbef67b795c538e61d31a99ded72f8e
#查看容器test6的IP地址
[root@yuji ~]# docker inspect test6 | grep -i "IPv4Address"
"IPv4Address": "172.18.0.10"
#也可以docker exec进入容器后下载net-tools工具,之后使用ifconfig命令查看容器IP地址。
删除自定义网络:
如果想要删除自定义的网络,可以使用 docker network rm 网络模式名称 进行删除,例如:docker network rm mynetwork
删除网络模式前,需要先确保使用该网络模式创建的容器已退出(即已停止)。如果容器仍在运行,则该网络无法删除。
#当使用自定义网络创建的容器处于运行状态时,无法删除自定义网络。
[root@zy2 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d2cb1f26d8de centos:7 "/bin/bash" 7 minutes ago Up 7 minutes
[root@zy2 ~]# docker network rm mynetwork
Error response from daemon: error while removing network: network mynetwork id 12a643f6908d0568257f64828f7d11e41b4c9147f57c364c04fd7d8ba64eff28 has active endpoints
#需要先将容器停止,之后再删除网络
[root@zy2 ~]# docker stop d2cb1f26d8de
d2cb1f26d8de
[root@zy2 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d2cb1f26d8de centos:7 "/bin/bash" 8 minutes ago Exited (137) 2 seconds ago test6
[root@zy2 ~]# docker network rm mynetwork #删除自定义网络mynetwork
mynetwork
[root@zy2 ~]# docker network ls #自定义网络已被删除
NETWORK ID NAME DRIVER SCOPE
87068f0dcef0 bridge bridge local
13c2115317cd host host local
10d4299d0f88 none null local
四、Docker容器网络生产经验
4.1 docker的网络建议和宿主机的IP"对照”
比如宿主机地址10.2.5.6,容器的地址就可以修改为172.5.6.x,这样方便在故障发生时,更容易定位故障节点位置。
4.2 daemon.json 配置介绍(键值对的格式)
# daemon.json 配置介绍
{
"graph": "/data/docker",
"storage-driver": "overlay2",
"insecure-registries": ["registry.access.redhat.com", "quay.io"],
"registry-mirrors": ["https://3u6mkfxb.mirror.aliyuncs.com"],
"bip": "172.24.38.1/24", #指定网桥的网段,这里不能写0,必须写1
"exec-opts": ["native. cgroupdriver= systemd"],
"live-restore": true
}
#配置项注意点:
● graph:该关键字未来将被弃用,可以采用"data-root" 替代。
● storage-driver:存储驱动,即分层文件系统。
● insecure-registries:不安全的docker registries, 即使用http协议推拉镜象。
● registry-mirrors:加速站点,一般可以使用阿里、网易云、docker中国 (https: //registry.docker-cn.com)的地址。
● bip:指定doccer bridge地址(不能以.0结尾),生产中建议采用172.xx.yy.1/24,其中xx. yy为宿主机ip后四位,方便定位问题。
● 若启动失败,查看/var/log/message 日志排错。
● live-restore:启用实时还原。
默认情况下,当Docker守护程序终止时,它将关闭正在运行的容器。从Docker Engine 1.12开始,您可以配置守护程序,以便在守护程序不可用时容器仍在运行。此功能称为实时还原。实时还原选项有助于减少由于守护程序崩溃,计划内的停机或升级而导致的容器停机时间。
#使用配置文件/etc/docker/daemon.json (没有时新建该文件)
vim /etc/docker/daemon.json
{
" insecure-registries": ["192.168.10.7:666"],
"registry-mirrors": ["https://3u6mkfxb.mirror.aliyuncs.com"],
"live-restore": true
}