docker网络--多机通信--3--overlay笔记

已于 2022-04-02 16:57:03 修改
阅读量2.8k 收藏 13
点赞数
分类专栏： docker网络 文章标签： linux docker
于 2022-04-02 16:34:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43501172/article/details/123819062
版权

docker网络--多机通信--3--overlay

一.介绍

终于写到overlay了，我觉得overlay在实际工作中，用到的概率很大，不管是使用docker swarm进行集群还是使用k8s进行集群，都会使用到overlay。本篇文章，主要是对docker官网关于overlay的几篇官方文档，进行理解和做实验。
docker中的overlay网络，主要有3个方面的应用，
第1个是docker系统自带的overlay网络是ingress，这个会重新开一篇文章说
第2个是用户自定义的overlay网络，应用docker swarm service
第3个是用户自定义的overlay网络，应用standalone containers
接下来就会去做第2,3的实验。
ps:研究docker的overlay网络，最好要懂docker swarm,这篇文章讲docker swarm非常不错，点这里查看

二.原理

overlay是一种叠加网络，简单理解就是把一个逻辑网络建立在一个实体网络之上，让我们的虚拟机或者容器，在同一个二层网络之中，这样虚拟机或者容器，就可以在二层网络自由通信。
overlay是一种叠加网络，实现的方式有很多种，有硬件的，也有软件的，比如vxlan，NVGRE，STT等。我们重点研究一下vxlan，因为我们docker的overlay网络，底层实现就是vxlan。
关于overlay技术的总体介绍，以及原理，可以查看，这篇文章，overlay网络技术之VxLAN详解。
关于vxlan的报文协议讲解，可以查看，这篇文章，vxlan的报文协议。
关于vxlan的详细原理讲解，可以查看，这篇文章，vxlan的原理详细讲解。
上面3篇文章，主要都讲的虚拟机方面的overlay相关知识点，感觉本质上来讲，虚拟机和容器是同一类东西，overlay的网络也是运用一样的技术原理。
关于docker overlay的工作原理讲解，可以查看，这篇文章，Docker Overlay 工作原理，关于docker overlay的工作原理讲解，我会在第一个实验详细，说明的更详细。

三.实验----user-defined overlay for docker swarm service

1.说明

Container eth0：eth0它是Overlay网络分配的唯一的IP地址，它是veth pair虚拟设备对，作用是实现点对点的通信，通过桥接到br0这个网桥中，可以实现不同 NameSwitch之间容器进行通信。
这个overlay网络是ingress网络，这个overlay网络主要用来做负载均衡的。
Container eth1：eth1它是Overlay网络分配的唯一的IP地址，它是veth pair虚拟设备对，作用是实现点对点的通信，通过桥接到br0这个网桥中，可以实现不同 NameSwitch之间容器进行通信。
这个overlay网络是我们自定义的overlay网络，这个overlay网络主要用做集群内部通信的。

VETP：对VXLAN数据包的封装与街封装。

Container eth2：eth2是容器主机的默认网络，主要提供容器访问外网所提供的服务，走的默认docker网络架构，只不过他创建了docker_gwbridge这个网桥。

docker_gwbridge：docker_gwbridge是容器所创建的网桥它替代了docker0的服务,可以使得容器能够访问外部网络或者其他的集群节点

enp0s3：真机网卡与外界网卡连接得真机网卡，它用来转发，容器VXLAN与NAT两种网卡类型的数据包到指定的对端节点。
PS:
1.创建任何一个service，service下的容器，容器自动获得3块网卡，2个overlay网卡，1个docker_gwbridge网卡。一块overlay网卡，是ingress用来做复杂均衡用的，一块是用集群内部通信用的，还可有一块网卡用作访问外部网络用的。
2.关于数据如何传递的，在第一个实验会详细说明

2.整体拓扑图

在这里插入图片描述

3.预置条件

   a.使用virtualbox创建3个虚拟机（xwl-1,xwl-2,xwl-3），3个虚拟机的网络，这3个虚拟机处于同一个网络，并且能够上internet
   b.这3个虚拟机的系统，均为ubuntu server 20.04。其他linux系统，肯定也是的行的。
   c.在这3个虚拟机上，分别安装好docker
   ps:用真实的物理机也行，但是感觉没有太必要。或者使用其他工具如vmware，hype-v，wls等，创建虚拟机也行。

4.操作步骤

1.检查3台机器的网络状态
虚拟机1在这里插入图片描述

虚拟机2在这里插入图片描述

虚拟机3在这里插入图片描述
2.在虚拟机1上，创建docker swarm
在这里插入图片描述

3.在虚拟机2,3上，加入docker swarm
子节点加入docker swarm后，会自动创建，ingress和docker_gwbridge这两个网络
在虚拟机2
在这里插入图片描述
在虚拟机3
在这里插入图片描述
4.在主节点上虚拟机1上，验证集群加入情况
在虚拟机1上，列出节点的情况（一个非常小的docker集群算是搭建成功了）
在这里插入图片描述
5.在主机点虚拟机1上，创建一个自定义的overlay网络名字叫nginx-net（创建的时候，我们可以指定子网，ip啥的，这里，就直接全部默认）
在这里插入图片描述
6.在master节点(虚拟机1)，创建docker swarm service
docker service create --name my-nginx --publish target=80,published=80 --replicas=5 --network nginx-net nginx
在虚拟机1（第一次比较慢，会去下载nginx镜像）

在这里插入图片描述
在虚拟机1，查看容器
在这里插入图片描述

在虚拟机2，查看容器
在这里插入图片描述

在虚拟机3，查看容器在这里插入图片描述
7.进入相关容器，下载相关软件
在主机点（虚拟机1）上，
在这里插入图片描述

在子节点（虚拟机2）上，
在这里插入图片描述
8.查看容器的网卡
在虚拟机1上的容器1d947ec6dd77在这里插入图片描述
在虚拟机2上的容器ad7040f6340b
在这里插入图片描述
9.查看ingress overlay, nginx-net overlay以及docker_gwbridge这三个网络，会发现，容器的ip都在相应的网络详情中查找的到
在master节点，虚拟机1上
ingress网络
在这里插入图片描述
nginx-net网络
在这里插入图片描述
docker_gwbridge网络
在这里插入图片描述

在node节点，虚拟机2上
ingress网络
在这里插入图片描述

nginx-net网络
在这里插入图片描述

docker_gwbridge网络
在这里插入图片描述

5.验证数据访问验证

a.overlay内的容器间访问

1.同一个overlay下的容器，可以直接访问
docker自带的ingress的网络和docker自定义的nginx overlay网络，容器间通信
master节点（xwl-1）容器1d947ec6dd77与node节点（xwl-2）容器ad7040f6340b通信
在这里插入图片描述
node节点（xwl-2）容器1d947ec6dd77与node节点（xwl-2）容器ad7040f6340b通信
在这里插入图片描述
2.同一个overlay下，docker自带的overlay网络的容器，不能直接访问容器的服务，用户自定义的overlay网络里的容器，可以直接访问容器的服务
master节点（xwl-1）容器1d947ec6dd77与node节点（xwl-2）容器ad7040f6340b通信
在这里插入图片描述
node节点（xwl-2）容器1d947ec6dd77与node节点（xwl-2）容器ad7040f6340b通信
在这里插入图片描述

b.overlay内的容器访问外部

overlay内的容器访问外部，使用的docker_gwbridge这个网卡，overlay本身的ip是无法访问外部的
在虚拟机1
在这里插入图片描述
在虚拟机2
在这里插入图片描述

c.外部访问overlay内的容器

外部访问集群服务的时候，数据先到达节点，然后会进入到节点的ingress，然后再通过ipvs进行负载均衡到后面的容器上去（这个在ingress网络中详细说明原理）
在这里插入图片描述

d.集群内，不同overlay下的容器访问

不同的overlay是不能跨vxlan访问的（除非做了路由）
本来我想通过在容器中关闭网卡的方式，来验证不同overlay是不能跨vxlan进行通信的，但是在容器中，暂时无法禁用网卡。所以这个实验就没做了。但结论应该就是跨vxlan是无法访问的

四.实验----user-defined overlay for standalone containers

1.说明

overlay网络用在docker swarm集群中，所以用户定义的overlay网络，需要在一个docker swarm集群中，才可可以创建。如果在没有加入集群的的节点上创建，会报错，如下图
在这里插入图片描述
只能在master节点上创建overlay，如果在node节点上创建overlay会报错
在这里插入图片描述

在docker swarm中，没有加入集群的容器，可以连接到自定义的overlay中，下面就做这个实验

2.整体拓扑图

在这里插入图片描述

3.预置条件

预置条件和上一个实验相同

4.操作步骤

1.清除上一个实验的步骤
虚拟机1
在这里插入图片描述
虚拟机2
在这里插入图片描述

虚拟机3
在这里插入图片描述

2.在虚拟机1上，创建docker swarm
在这里插入图片描述

3.在虚拟机2,3上，加入docker swarm
子节点加入docker swarm后，会自动创建，ingress和docker_gwbridge这两个网络
在虚拟机2
在这里插入图片描述
在虚拟机3
在这里插入图片描述
4.在主节点上虚拟机1上，验证集群加入情况
在虚拟机1上，列出节点的情况（一个非常小的do分别cker集群算是搭建成功了）
在这里插入图片描述
5.在主机点虚拟机1上，创建一个自定义的overlay网络名字叫test-net（创建的时候，我们可以指定子网，ip啥的，这里，就直接全部默认）
在这里插入图片描述
6.在虚拟机1和虚拟机2上，分别创建busybox的容器
在虚拟机1上
在这里插入图片描述
在虚拟机2上，原本机器上是没有test-net这个overlay网络，但是， 我们运行容器的时候，它可以自动去关联master节点上的自定义的overlay网络
在这里插入图片描述

5.数据访问验证

a.overlay内的容器间访问

可以互相访问
在虚拟机1
在这里插入图片描述

在虚拟机2
在这里插入图片描述

b.overlay内的容器访问外部

通过docker_gwbridge访问外部网络
在这里插入图片描述

c.外部访问overlay内的容器

外部访问集群内部，只能通过ingress，才能访问集群内部的容器，由于单独的容器，不属于任何服务，就没有在容器上挂在ingress的网络的网卡

d.集群内，不同overlay下的容器访问

不同的overlay是不能跨vxlan访问的（除非做了路由）
本来我想通过在容器中关闭网卡的方式，来验证不同overlay是不能跨vxlan进行通信的，但是在容器中，暂时无法禁用网卡。所以这个实验就没做了。但结论应该就是跨vxlan是无法访问的。

五.遗留问题

暂时无

六.参考链接

1.docker官网，关于docker overlay的配置，以及相关注意事项
https://docs.docker.com/network/overlay/
https://docs.docker.com/network/network-tutorial-overlay/
2.docker官网，关于docker swarm网络的总体介绍
https://docs.docker.com/engine/swarm/networking/
3.docker swarm这篇文章非常不错，就是有点长，但是非常值得看
https://www.cnblogs.com/zhujingzhi/p/9792432.html
4.overlay技术的总体介绍，以及原理
http://www.360doc.com/content/19/0424/15/37015604_831158928.shtml
5.VXlan 报文讲解
https://blog.csdn.net/sjin_1314/article/details/80303098
6.vxlan的技术原理详细讲解，主要讲解通信原理
https://blog.csdn.net/u013743253/article/details/80504551
7.docker overlay工作原理
https://www.cnblogs.com/xiangsikai/p/9898174.html

狂奔的蜗牛x
关注
  • 0
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Docker跨主机容器通信overlay实现过程详解
01-09
同样是两台服务器： 准备工作：　 设置容器的主机名 consul：kv类型的存储数据库（key:value） docker01、02上： vim /etc/docker/daemon.json { hosts:[tcp://0.0.0.0:2376,unix:///var/run/docker.sock], 这行改了要修改自己的docker配置文件 cluster-store: consul://10.0.0.11:8500, cluster-advertise: 10.0.0.11:2376 另外一台写自己的ip即可 } vim /etc/docker
docker中的overlay网络详解
baidu_38956956的博客
12-14 4351
Docker的overlay网络详解
深入docker-swarm overlay网络模型
最新发布
weixin_42211693的博客
04-22 902
overlay网络也被称为重叠网络或覆盖网络，是一种基于underlay网络之上的逻辑网络，既在物理网络的基础之上，通过节点间的单播隧道机制将主机两两相连形成的虚拟的，独立的网络。Docker swarm集群中的overlay网络主要是通过iptables，ipvs，vxlan等技术实现的，基于本身通信需求的网络模型。
docker overlay网络详解
leechm的博客
07-20 1万+
之前我们学习的网络是单台主机的网络通讯方案，这里我们学习的是跨跨主机。 我们原生的docker跨主机方案有macvlan和overlay，这里我们重点学习overlay 第三方网络插件有flannel，calico，weave网络。 docker网络之所以这么活跃，是因为网络部分的代码单独抽离出来成为docker的网络库，即libnetwork。 为了标准化网路驱动的开发步骤和支持各种网络驱动，libnetwork中使用了CNM（container network model），CNM定义了构建容器
Docker网络教程（三）overlay 网络教程
weixin_42445065的博客
06-09 2827
演示了如何创建和使用你自己的自定义 overlay 网络，以连接服务。建议在生产环境中运行的服务使用这个方法。
Docker overlay存储工作原理
sinat_20476061的专栏
07-20 947
一、镜像与分层 一个镜像由多个分层组成。Dockerfile中写有每个分层，比如： FROM ubuntu:18.04 COPY . /app RUN make /app CMD python /app/app.py dockerfile中每一行指令都会创建一个层次。每一层保留只有与前一层有差异的部分，一次次进行叠加。当你创建一个‘容器’时，顶层将会创建一个读写层。这个读写层就称之为...
DockerToolbox-19.03.1.exe
10-27
DockerToolbox-19.03.1.exe
docker-compose-window-2.14.2.exe
12-27
docker-compose-window-2.14.2.exe免费下载
docker docker-compose学习笔记
12-16
docker学习笔记，docker安装及使用，各个命令说明以及使用事例， docker-compose自动配置服务，完成项目发布部署war项目，搭建docker私服 redis svn mysql等服务,大部分来自网络后整理
docker-compose-Linux-aarch64
07-10
在arm版本的服务器上可用的docker-compose, 可执行文件
Docker- 7.2、跨主机网络-overlay
无痕的博客
12-29 2099
跨主机网络方案overlay
Docker网络模型（五）使用 overlay 网络
weixin_42445065的博客
06-08 1914
大多数用户从来不需要配置ingress网络，但 Docker 允许你这样做。如果自动选择的子网与你的网络上已经存在的子网相冲突，或者你需要定制其他的底层网络设置，如 MTU 大小，这时就会很有用。自定义ingress网络的过程包括移除并重新创建它。这通常是在你在 swarm 中创建任何服务之前完成的。如果你有一些服务已经公开过端口（用 -p 或者 --publish），那在你删除ingress网络之前，这些服务需要被先被删除。在没有ingress网络时，没有公开端口的服务继续运行，但无负载均衡。
docker网络模式之 overlay模式
c++应用程序编程和调试专栏
11-26 4164
         Overlay网络模式，在多个docker daemon 主机之间穿件一个分布式的网络，该网络（overlay）位于docker主机层次之上,允许容器（同一集群服务的容器）之间加密通讯，因此，docker需要处理每一个主机（docker daemon）和每个分布的容器之间的包路由。       每当初始化一个集群或者添加一个docker主机到集群时，则在该主机上创建两个网络， ...
docker镜像存储——overlayfs(新手入门)
qq_36657175的博客
12-31 6106
一、概述 　　Docker 中的镜像采用分层构建设计，每个层可以称之为 “layer”，这些 layer 被存放在了 / var/lib/docker/<storage-driver>/ 目录下，这里的 storage-driver 可以有很多种如: AUFS、OverlayFS、VFS、Brtfs 等。可以通过 docker info 命令查看存储驱动，（笔者系统是 centos7.4）： 通常 ubuntu 类的系统默认采用的是 AUFS，centos7.1 + 系列采用的是 Ove
docker学习——docker的overlay网络
热门推荐
菜到怀疑人生的博客
09-23 2万+
目录   什么是overlay网络 两者在overlay网络中的公共操作 swarm服务在overlay网络的操作 单一容器在overlay网络中的操作 其他 什么是overlay网络 overlay网络用于连接不同机器上的docker容器，允许不同机器上的容器相互通信，同时支持对消息进行加密，当我们初始化一个swarm或是加入到一个swarm中时，在docker主机上会出现两种网...
【云原生】Docker网络Overlay搭建Consul实现跨主机通信_docker跨主机通信overlay
2401_83620654的博客
04-12 681
最全的Linux教程，Linux从入门到精通。
Docker 多主机部署：构建容器集群的最佳实践，助力高可用性与负载均衡
猫头虎：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作：Libin9iOak，共赴知识与乐趣的探索之旅！
07-20 372
在现代应用开发和部署中，Docker 多主机部署成为必备技术，可以实现高可用性和容错性。本文将深入探讨 Docker 多主机部署的最佳实践，重点阐述和分析在构建容器集群时需要考虑的关键因素。此外，还将从社区角度、市场角度、领域、层面和技术领域应用等多个角度进行分析，帮助读者全面了解 Docker 多主机部署的重要性和实践方法。随着容器技术的普及，单个主机上的容器往往已不能满足应用的需求。多主机部署允许容器在多个主机上运行，实现高可用性、负载均衡和容灾备份，成为构建大规模容器化应用的必要手段。
docker --net详解_Docker网络通信
06-03
Docker是一种基于容器的虚拟化技术，它提供了一种轻量级的容器化解决方案，可以将应用程序及其依赖项打包到一个可移植的容器中，以便在任何地方运行。在Docker中，容器之间的通信是通过网络实现的，在本文中，我们将详细介绍Docker中的网络通信。 Docker中的网络类型 Docker提供了四种不同类型的网络，分别是： 1. 桥接网络（Bridge Network）：桥接网络是Docker的默认网络，它允许容器之间相互通信，并且可以与主机通信。在桥接网络中，每个容器都有一个独立的IP地址，并且可以通过容器名称或IP地址进行访问。 2. 主机网络（Host Network）：主机网络将容器直接连接到主机网络上，容器与主机共享同一个网络接口和IP地址，因此可以与主机网络上的其他设备进行通信。 3. 网络绑定（None Network）：网络绑定不为容器配置任何网络，这意味着容器无法通过网络与外界进行通信。通常，这种网络类型用于测试和调试容器应用程序。 4. Overlay网络（Overlay Network）：Overlay网络用于跨主机容器之间的通信。它允许在多个主机上运行分布式应用程序，并提供了自动发现和负载均衡的功能。 Docker网络配置 在Docker中，可以使用docker network命令来管理网络。可以使用以下命令创建一个新的桥接网络： ``` docker network create my-network ``` 可以通过以下命令将容器添加到网络中： ``` docker run --name my-container --network my-network my-image ``` 在此命令中，--network选项指定要将容器添加到的网络名称。 可以使用以下命令列出所有可用的网络： ``` docker network ls ``` 可以使用以下命令查看特定网络的详细信息： ``` docker network inspect my-network ``` 在Docker中，还可以使用--link选项将一个容器链接到另一个容器。这将创建一个虚拟网络接口，允许容器之间进行通信。以下命令将容器my-container链接到容器my-other-container： ``` docker run --name my-container --link my-other-container my-image ``` 在此命令中，--link选项指定要链接的容器名称。 总结 在Docker中，容器之间的通信是通过网络实现的。Docker提供了四种不同类型的网络，包括桥接网络、主机网络、网络绑定和Overlay网络。可以使用docker network命令来管理网络，可以使用--link选项将一个容器链接到另一个容器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

狂奔的蜗牛x

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值