Docker实现跨主机通信

已于 2023-07-09 22:26:16 修改
阅读量1k 收藏 3
点赞数
分类专栏： 经验分享 文章标签： docker 容器 运维
于 2023-07-09 20:50:22 首次发布
原文链接：https://www.llody.top/archives/dockershi-xian-kua-zhu-ji-tong-xin
版权

原文地址：Docker实现跨主机通信 (llody.top)

Docker实现跨主机通信

需求说明

1，因为服务是使用docker单机部署的，现在要新增一台机器做节点，要求两台机器中同一个网桥下的容器，内部互通。

实现方案

目前有两种可选方案：

1、使用docker的网桥，自己配置route跳转规则+iptable实现路由互通

2、基于docker swarm自带的集群模式overlay网络模式实现网络互通

开始实验

我决定使用第一种方式进行试验

环境说明

主机

主机IP地址

docker0地址

test1

192.168.3.44

10.0.44.1

test2

192.168.3.45

10.0.45.1

安装docker

不管在线安装，离线安装，我前面都有讲，请参考我前面文章

修改docker0默认IP地址

默认情况下IP段都是相同的，为了避免冲突，需要进行自定义修改

test1
vim /etc/docker/daemon.json


{
        "bip":"10.0.44.1/24"
 
}

Bash

test2
vim /etc/docker/daemon.json


{
        "bip":"10.0.45.1/24"
 
}

Bash

重启docker

systemctl daemon-reload
systemctl start docker

Bash

检查主机的IP地址变化

# 主机test1
[root@test1 ~]# ifconfig
docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 10.0.44.1  netmask 255.255.255.0  broadcast 10.0.44.255
        ether 02:42:04:1a:6f:58  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.3.44  netmask 255.255.255.0  broadcast 192.168.3.255
        ether 00:0c:29:00:29:83  txqueuelen 1000  (Ethernet)
        RX packets 22840  bytes 31107528 (29.6 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 2659  bytes 216639 (211.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 42  bytes 3712 (3.6 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 42  bytes 3712 (3.6 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

# 主机test2
[root@test2 ~]# ifconfig
docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 10.0.45.1  netmask 255.255.255.0  broadcast 10.0.45.255
        ether 02:42:2c:be:ce:87  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.3.45  netmask 255.255.255.0  broadcast 192.168.3.255
        ether 00:0c:29:f4:f0:5b  txqueuelen 1000  (Ethernet)
        RX packets 44416  bytes 62440747 (59.5 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 6214  bytes 520469 (508.2 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 32  bytes 2592 (2.5 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 32  bytes 2592 (2.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Bash

创建网桥(两个主机的网桥IP段不可冲突)

test1
docker network create --driver bridge --subnet 192.168.44.0/24 --gateway=192.168.44.1 net-831

Bash

test2
docker network create --driver bridge --subnet 192.168.45.0/24 --gateway=192.168.45.1 net-831

Bash

添加路由规则

test1
route add -net 192.168.45.0/24 gw 192.168.3.45

Bash

说明：gw表示下一跳地址，这里的地址就是主机test2的IP地址

test2
route add -net 192.168.44.0/24 gw 192.168.3.44

Bash

说明：gw表示下一跳地址，这里的地址就是主机test1的IP地址

测试效果
# 主机1网桥ping主机2网桥
[root@test1 ~]# ping 192.168.45.1
PING 192.168.45.1 (192.168.45.1) 56(84) bytes of data.
64 bytes from 192.168.45.1: icmp_seq=1 ttl=64 time=0.690 ms
64 bytes from 192.168.45.1: icmp_seq=2 ttl=64 time=1.08 ms
64 bytes from 192.168.45.1: icmp_seq=3 ttl=64 time=0.813 ms

# 主机2网桥ping主机1网桥
[root@test2 ~]# ping 192.168.44.1
PING 192.168.44.1 (192.168.44.1) 56(84) bytes of data.
64 bytes from 192.168.44.1: icmp_seq=1 ttl=64 time=0.614 ms
64 bytes from 192.168.44.1: icmp_seq=2 ttl=64 time=0.848 ms
64 bytes from 192.168.44.1: icmp_seq=3 ttl=64 time=0.861 ms

Bash

很多人做到这里以为就已经成功了，其实不然，只是网桥互通了，网桥下其他容器其实还是不通的，因为你每创建一个容器就会创建一个以veth开头的网卡。

路由持久化

test1

vi /etc/rc.local
route add -net 192.168.45.0/24 gw 192.168.3.45

Bash

test2
vi /etc/rc.local
route add -net 192.168.44.0/24 gw 192.168.3.44

Bash

什么是veth？

Linux container 中用到一个叫做veth的东西，这是一种新的设备，专门为 container 所建。veth 从名字上来看是 Virtual ETHernet 的缩写，它的作用很简单，就是要把从一个 network namespace 发出的数据包转发到另一个 namespace。veth 设备是成对的，一个是 container 之中，另一个在 container 之外，即在真实机器上能看到的。  VETH设备总是成对出现，一端请求发送的数据总是从另一端以请求接受的形式出现。创建并配置正确后，向其一端输入数据，VETH会改变数据的方向并将其送入内核网络子系统，完成数据的注入，而在另一端则能读到此数据。（Namespace，其中往veth设备上任意一端上RX到的数据，都会在另一端上以TX的方式发送出去）veth工作在L2数据链路层，veth-pair设备在转发数据包过程中并不串改数据包内容。

成数据的注入，而在另一端则能读到此数据。（Namespace，其中往veth设备上任意一端上RX到的数据，都会在另一端上以TX的方式发送出去）veth工作在L2数据链路层，veth-pair设备在转发数据包过程中并不串改数据包内容。  显然，仅有veth-pair设备，容器是无法访问网络的。因为容器发出的数据包，实质上直接进入了veth1设备的协议栈里。如果容器需要访问网络，需要使用bridge等技术，将veth1接收到的数据包通过某种方式转发出去 。

因此，如果要多台主机之间的docker通信，需要使用NAT转换。那么接下来，就是设置iptables规则了！

配置iptables规则

test1增加一条规则
iptables -t nat -A POSTROUTING -s 192.168.44.0/24 -d 192.168.45.0/24 -j MASQUERADE

Bash

test2增加一条规则
iptables -t nat -A POSTROUTING -s 192.168.45.0/24 -d 192.168.44.0/24 -j MASQUERADE

Bash

测试结果
# 测试主机1
[root@test1 ~]# docker run -it --rm --network net-831  centos:7 /bin/bash
[root@374b1c9e9ae0 /]# ping 192.168.45.2
PING 192.168.45.2 (192.168.45.2) 56(84) bytes of data.
64 bytes from 192.168.45.2: icmp_seq=1 ttl=64 time=0.123 ms
64 bytes from 192.168.45.2: icmp_seq=2 ttl=64 time=0.132 ms
64 bytes from 192.168.45.2: icmp_seq=3 ttl=64 time=0.125 ms
64 bytes from 192.168.45.2: icmp_seq=4 ttl=64 time=0.170 ms
64 bytes from 192.168.45.2: icmp_seq=5 ttl=64 time=0.176 ms
64 bytes from 192.168.45.2: icmp_seq=6 ttl=64 time=0.160 ms
64 bytes from 192.168.45.2: icmp_seq=7 ttl=64 time=0.151 ms
64 bytes from 192.168.45.2: icmp_seq=8 ttl=64 time=0.160 ms
64 bytes from 192.168.45.2: icmp_seq=9 ttl=64 time=0.163 ms

# 测试主机2
[root@test2 ~]# docker run -it --rm --network net-831  centos:7 /bin/bash
[root@2919a7a3734c /]# ping 192.168.44.2
PING 192.168.44.2 (192.168.44.2) 56(84) bytes of data.
64 bytes from 192.168.44.2: icmp_seq=1 ttl=64 time=0.135 ms
64 bytes from 192.168.44.2: icmp_seq=2 ttl=64 time=0.171 ms
64 bytes from 192.168.44.2: icmp_seq=3 ttl=64 time=0.119 ms
64 bytes from 192.168.44.2: icmp_seq=4 ttl=64 time=0.175 ms
64 bytes from 192.168.44.2: icmp_seq=5 ttl=64 time=0.158 ms
64 bytes from 192.168.44.2: icmp_seq=6 ttl=64 time=0.170 ms
64 bytes from 192.168.44.2: icmp_seq=7 ttl=64 time=0.164 ms

Bash

持久化iptables规则

iptables-save > iptables-rules   # 将现有规则写入文件中

# 创建iptables-rules.sh脚本

#!/bin/bash
iptables-restore < /root/iptables-rules

# 给脚本授权
chmod +x /root/iptables-rules.sh

# 编辑 /etc/rc.local 文件
vi /etc/rc.local

# 最后一行添加如下脚本地址
/root/iptables-rules.sh

Bash

如果发现重启后设置的规则没有生效，可以试试给rc.local授权可执行权限。

chmod +x /etc/rc.local

知识补充

因为涉及到route和iptables的操作，需要具备一些这两个命令的基本增删查操作

route

ip route show    # 查看当前的所有路由条目
route add -net 192.168.44.0/24 gw 192.168.3.45  # 添加到指定网络的路由
route del -net 192.168.44.0/24  # 删除到指定网络的路由
route del default gw 192.168.3.45 # 删除多余的网关

Bash

当然，你怕操作错误，在没有配置持久化的情况下，可以选择重启docker或者服务器以清除手动添加的规则

iptables

iptables -t nat -nL --line  # 首先查看当前iptables的nat表内的规则
iptables -t nat -D PREROUTING 1  # 删除条目需要确认两个参数，PREROUTING类型与1第一条规则
iptables -t nat -I PREROUTING -s 192.168.45.0/24 -d 192.168.44.0/24 -j DNAT --to 192.168.45.1   # 插入一
llody_55
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Docker笔记：配置docker网络与不通网络之间的通信及跨主机通信
Wang的专栏
12-13 1615
上面创建网络时，需要制定网络类型，网络类型，有如下四种。通过上述命令创建好网络后，启动容器并加入该网络。要解决默认网络的问题，就需要自定义网络。1 ） Docker0 网络。4 ）使用默认网络的问题。关于 /16 和 /24。5 ）关于微服务通信。
Docker容器跨主机通信中直接路由方式详解
09-29
在本篇文章里我们给各位整理的是一篇关于Docker容器跨主机通信中直接路由方式详解内容，有需要的朋友们可以参考下。
Docker跨主机访问
设xy为0的博客
01-01 809
一. 为什么要跨主机访问？ ​ 在工作中docker容器会部署在不同的服务器中，那么就涉及到不同的机器间容器的相互通信。我们都知道docker-compose用于容器编排，但是只能解决单台服务器上容器间的通信问题。在本课程中我们将实现不同的服务器间容器的通信。 ​ 我们采用的技术是weave，属于第三方网络项目，基于UDP的数据传输，其工作原理是创建一个连接多个主机的虚拟网络，类似于一个以太网交换...
Docker跨主机通信解决方案探讨
大鹏
07-27 1662
Docker容器技术正在被企业应用在越来越多的领域中，比如快速部署环境、简化基础设施的配置流程等等。 当你开始在真实的生产环境使用Docker容器去部署应用系统时，你可能需要用到多个容器部署一套复杂的多层应用系统，其中每个容器部署一个特定的应用系统。 此时可能就会遇到如下问题：有多台宿主机，我们事先不知道会在哪台宿主机上创建容器，如何保证在这些宿主机上创建的容器们可以互相联通？ 关于SDN和容器 作为近年来比较热的一个概念，众所周知SDN是Software Defined Network的缩写，即软件
【云原生】Docker 的网络通信
最新发布
书山有路，学海无涯。记录成长，追逐梦想
05-04 2125
Docker 的容器运行在宿主机的虚拟机上。这些虚拟机彼此独立，彼此之间没有任何接口，即容器彼此之间是逻辑隔离的。那么，如何实现容器的相互通信呢？容器又如何访问外部的网络呢？外部的网络如何才能访问部署在容器内的应用呢？本篇博客将带领大家了解这些问题。
Docker--网络跨主机实现之docker网络通信、跨主机容器网络
m0_62341392的博客
01-08 2740
一、docker网络通信 1、容器通信 【推荐使用自定义网络，因为有dns】 docker ps -a docker container prune #删除所有已经停止的容器 docker run -d --name demo nginx #开启nginx容器 docker ps docker run -it --network container:demo busybox #这个版本不能用curl命令 --/ # ip addr #获取的是172.17.0.2的ip --/ #
Docker网络-实战|两种常用的跨主机Docker容器互通方法
moran的博客
02-25 4191
路由方式和网桥方式，都可以使跨主机之间的Docker容器互通，操作起来也比较简单；再结合docker-compose，可以非常迅速的拉起一套环境；
Docker（六）--Docker网络--单机、跨主机容器通信
Gong_yz的博客
03-06 1063
本节总结本机、跨主机容器的通信方式
详解Docker容器跨主机通信的方法
01-10
默认情况下Docker容器需要跨主机通信两个主机节点都需要在同一个网段下，这时只要两个Docker容器的宿主机能相互通信并且该容器使用net网络模式，改实现方式为网桥模式通信； 除此之外我们还可以通过使用第三方工具为...
docker容器的跨主机访问
weixin_34235371的博客
07-07 542
在同一宿主机下的Docker的容器之间是默认互相联通的。通过docker inspect id或name可以查看到ip地址。在不同的容器中来执行ping是可以ping通的，然而跨容器则行不通，于是总结了以下3种方法Docker容器默认跨主机之间的链接方法第一种:网桥实现在docker宿主机上运行ifconfig命令可以看的存在一个docker0的网桥。Docker容器通过do...
Docker容器跨主机通讯的几种方式
热门推荐
xialingming的博客
10-16 1万+
Docker容器跨主机通讯的几种方式前言：Docker的5种网络模式BridgeHostNoneContainerNetwork1. 直接路由方式2. 基于OVS+GRE的大二层通信 前言：Docker的5种网络模式 Bridge 此时docker引擎会创建一个veth对，一端连接到容器实例并命名为eth0，另一端连接到指定的网桥中（比如docker0），因此同在一个主机的容器实例由于连接在同一...
【docker系列】consul+overlay实现容器跨主机网络通信
字母哥博客
06-13 2646
docker原生ovelay逻辑网，如何通过consul协调服务实现容器之间跨主机服务器的网络通信。
实现容器跨主机通信
qq_37698947的博客
03-27 871
实现容器跨主机通信 Docker 跨主机 Overlay 网络动手实验 · 风与云原生 前几天在两台虚拟机上面实现了容器的跨主机通信，今天进行梳理一下整个流程。 原理 目前跨主机容器的通信大部分使用的是 VXLAN 协议，即在三层网络之上，构建一个虚拟的二层网络。要构建这样一个虚拟网络，即在两个设备之间的传输双方约定好的信息格式，双方通过解析特定信息格式知道消息是发送给谁的，从而达到双方通信的目的，VXLAN 协议内部使用 UDP 来进行消息的传输。 实验中，整个网络的架构是这样的： 流程 当在172.
【Docker】三、docker网络通信机制
weixin_43333483的博客
09-18 2930
docker网络通信机制
Docker 网络详解
03-15
Docker 是 PaaS 供应商 DotCloud 开源的一个基于 LXC 的高级容器引擎，基于 Go 语言开发并遵从Apache 2.0  协议，通过内核虚拟化技术（namespaces及cgroups等，这里的内核技术指的是Linux内核）来提供容器的资源隔离与安全保证等。由于docker通过操作系统层的虚拟化实现隔离，所以在运行时，不需要额外的虚拟化管理程序（VMM(Virtual Machine Monitor)，以及Hyperisor）支持，它属于内核级虚拟化，可以实现更高的性能，同时对资源的额需求更低。它和KVM 虚拟化的区别在于：docker是通过隔离来进行创建容器，而KVM虚拟化通过模拟方式创建虚拟机。而本套课程主要讲解docker容器网络的各种构建方式，比如单台主机内的容器通信，及多台主机间的容器通信的主流实现方式。主要讲解Docker 网络以下几个方面：  1.  Linux的虚拟桥和虚拟网卡、网络名称空间等。  2.  Docker网络的基础知识。  3.  用户自定义的网络  4.  Docker和openvswitch虚拟交换机的集成。  5.  容器dns相关配置  6.  容器网络通信的相关安全  7.  容器和flannel网络集成  8.  容器网络的相关排错注意：本课程学习需要具有一定的Linux基础、网络基础，至少需要您了解网络七层协议，路由等基础知识，并掌握Docker相关知识点。
多台docker主机中的 容器 网络互通
xxx的博客
01-20 3343
两台服务器上各有一个docker，现在要两台docker服务器中的容器网络能互通: 我是用docker-compos, 首先规划网段，linux服务器A (192.168.1.100 ) 默认是172.18.0.1/16 1. linux服务器B (192.168.1.200) docker容器网段改为 172.19.0.1/16 bip 是设置docker0的ip ，就是docker run启动的容器，这里不变还是默认的 default-address-pools 是设置docker-compo.
Docker容器跨主机通信
03-11
Docker容器跨主机通信可以通过使用Overlay网络来实现。Overlay网络是一种软件定义网络(SDN)技术，它可以在多个Docker主机之间创建虚拟网络，使得Docker容器可以在不同主机之间通信。具体实现方法可以参考Docker官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值