Docker跨宿主机通信
Docker跨宿主机通信目前有如下几种主流方法:
- 使用路由机制打通网络;
- 使用Open vSwitch(OVS)打通网络 ;
- 使用flannel来打通网络;
- 使用Quagga来实现自动学习路由;
- 借助openstack、k8s等方式。
本文主要使用路由机制打通网络。
一、拓扑图
因为Docker默认的网桥docker0为172.17.0.1/16网段,所以必须要修改其中一个docker节点的网桥,以避免ip冲突。
- router1使用默认的docker0网桥;
- router2使用自行添加的网桥br0,并创建一对“veth pair”接口 A 和 B,连接容器router2和网桥br0。
二、创建docker容器
1、 在node1下创建容器router1:
[root@node1 ~]# docker run -itd --name router1 quagga /bin/bash
e6b85b463a379a0e349aab31efc1715f225fed27117e1b2cb985149261366a79
2、在node2下创建容器router2(使用无网络模式):
[root@node2 ~]# docker run -itd --name router2 --net none quagga /bin/bash
d712a46ec871eb2a94d392e9d87c951f0ed9efe50496070cfe669bad87e88e2b
三、创建br0网桥
1、 在node2中创建一个网桥 br0:
[root@node2 ~]# brctl addbr br0
[root@node2 ~]# ip addr add 172.18.42.1/16 dev br0
[root@node2 ~]# ip link set dev br0 up
2、添加后可以用 “brctl show” 来查看:
[root@node2 ~]# brctl show
bridge name bridge id STP enabled interfaces
br0 8000.000000000000 no
docker0 8000.024210962f1f no
virbr0 8000.000000000000 yes
四、创建一对“veth pair”接口 A 和 B,连接容器router2和网桥br0
1、 在node2查找容器的进程 id,然后通过pid将容器的网络命名空间链接到/var/run/netns/目录下。这么做的目的是,方便在主机上使用ip netns命令配置容器的网络。因为,在Docker容器中,我们没有权限配置网络环境。
[root@node2 ~]# sudo docker inspect -f '{{.State.Pid}}' router2
44561
[root@node2 ~]# pid=44561
[root@node2 ~]# mkdir -p /var/run/netns
[root@node2 ~]# ln -s /proc/$pid/ns/net /var/run/netns/$pid
2、 创建一对“veth pair”接口 A 和 B,绑定 B到网桥br0,并启用它:
[root@node2 ~]# ip link add A type veth peer name B
[root@node2 ~]# brctl addif br0 B
[root@node2 ~]# ip link set B up
3、 将A放到容器router2的网络命名空间,命名为 eth0,启动它并配置一个可用 IP(桥接网段)和默认网关:
[root@node2 ~]# ip link set A netns $pid
[root@node2 ~]# ip netns exec $pid ip link set dev A name eth0
[root@node2 ~]# ip netns exec $pid ip link set eth0 up
[root@node2 ~]# ip netns exec $pid ip addr add 172.18.42.99/16 dev eth0
[root@node2 ~]# ip netns exec $pid ip route add default via 172.18.42.1
4、 查看router2内的网卡eth0:
[root@node2 ~]# docker exec router2 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
40: eth0@if41: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether b2:7d:f0:a8:22:6f brd ff:ff:ff:ff:ff:ff
inet 172.18.42.99/16 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::b07d:f0ff:fea8:226f/64 scope link
valid_lft forever preferred_lft forever
五、添加路由规则
1、 node1上执行:
[root@node1 ~]# route add -net 172.18.0.0/16 gw 192.168.168.137
2、 node2上执行:
[root@node2 ~]# route add -net 172.17.0.0/16 gw 192.168.168.129
六、测试
在router1中能够ping通router2:
[root@node1 ~]# docker attach router1
root@e6b85b463a37:/#
root@e6b85b463a37:/# ping 172.18.42.99
PING 172.18.42.99 (172.18.42.99): 56 data bytes
64 bytes from 172.18.42.99: icmp_seq=0 ttl=62 time=0.432 ms
64 bytes from 172.18.42.99: icmp_seq=1 ttl=62 time=0.943 ms
^C--- 172.18.42.99 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.432/0.688/0.943/0.256 ms