Docker跨宿主机通信

Docker跨宿主机通信

Docker跨宿主机通信目前有如下几种主流方法：

1. 使用路由机制打通网络；
2. 使用Open vSwitch（OVS）打通网络 ；
3. 使用flannel来打通网络；
4. 使用Quagga来实现自动学习路由；
5. 借助openstack、k8s等方式。

本文主要使用路由机制打通网络。

一、拓扑图

因为Docker默认的网桥docker0为172.17.0.1/16网段，所以必须要修改其中一个docker节点的网桥，以避免ip冲突。

• router1使用默认的docker0网桥；
• router2使用自行添加的网桥br0，并创建一对“veth pair”接口 A 和 B，连接容器router2和网桥br0。

二、创建docker容器

1、 在node1下创建容器router1:

[root@node1 ~]# docker run -itd --name router1 quagga /bin/bash
e6b85b463a379a0e349aab31efc1715f225fed27117e1b2cb985149261366a79

2、在node2下创建容器router2（使用无网络模式）：

[root@node2 ~]# docker run -itd --name router2 --net none quagga /bin/bash
d712a46ec871eb2a94d392e9d87c951f0ed9efe50496070cfe669bad87e88e2b

三、创建br0网桥

1、 在node2中创建一个网桥 br0:

[root@node2 ~]# brctl addbr br0
[root@node2 ~]# ip addr add 172.18.42.1/16 dev br0
[root@node2 ~]# ip link set dev br0 up

2、添加后可以用 “brctl show” 来查看：

[root@node2 ~]# brctl show
bridge name   bridge id          STP enabled          interfaces
br0           8000.000000000000  no     
docker0       8000.024210962f1f  no     
virbr0        8000.000000000000  yes    

四、创建一对“veth pair”接口 A 和 B，连接容器router2和网桥br0

1、 在node2查找容器的进程 id，然后通过pid将容器的网络命名空间链接到/var/run/netns/目录下。这么做的目的是，方便在主机上使用ip netns命令配置容器的网络。因为，在Docker容器中，我们没有权限配置网络环境。

[root@node2 ~]# sudo docker inspect -f '{{.State.Pid}}' router2
44561
[root@node2 ~]# pid=44561
[root@node2 ~]# mkdir -p /var/run/netns
[root@node2 ~]# ln -s /proc/$pid/ns/net /var/run/netns/$pid

2、 创建一对“veth pair”接口 A 和 B，绑定 B到网桥br0，并启用它:

[root@node2 ~]# ip link add A type veth peer name B
[root@node2 ~]# brctl addif br0 B
[root@node2 ~]# ip link set B up

3、 将A放到容器router2的网络命名空间，命名为 eth0，启动它并配置一个可用 IP（桥接网段）和默认网关:

[root@node2 ~]# ip link set A netns $pid
[root@node2 ~]# ip netns exec $pid ip link set dev A name eth0
[root@node2 ~]# ip netns exec $pid ip link set eth0 up
[root@node2 ~]# ip netns exec $pid ip addr add 172.18.42.99/16 dev eth0
[root@node2 ~]# ip netns exec $pid ip route add default via 172.18.42.1

4、 查看router2内的网卡eth0:

[root@node2 ~]# docker exec router2 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
40: eth0@if41: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether b2:7d:f0:a8:22:6f brd ff:ff:ff:ff:ff:ff
    inet 172.18.42.99/16 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::b07d:f0ff:fea8:226f/64 scope link 
       valid_lft forever preferred_lft forever

五、添加路由规则

1、 node1上执行:

[root@node1 ~]# route add -net 172.18.0.0/16 gw 192.168.168.137

2、 node2上执行:

[root@node2 ~]# route add -net 172.17.0.0/16 gw 192.168.168.129

六、测试

在router1中能够ping通router2：

[root@node1 ~]# docker attach router1 
root@e6b85b463a37:/# 
root@e6b85b463a37:/# ping 172.18.42.99
PING 172.18.42.99 (172.18.42.99): 56 data bytes
64 bytes from 172.18.42.99: icmp_seq=0 ttl=62 time=0.432 ms
64 bytes from 172.18.42.99: icmp_seq=1 ttl=62 time=0.943 ms
^C--- 172.18.42.99 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.432/0.688/0.943/0.256 ms