Docker 容器跨主机通信 - Flannel

已于 2023-10-11 09:25:05 修改
阅读量850 收藏 2
点赞数 3
分类专栏： 云原生 文章标签： docker 容器 运维
于 2023-09-29 15:40:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_ZRS/article/details/133418378
版权

image-20220909094036787

Author：rab

目录

前言

今天是中秋佳节，首先在此祝大家“中秋快乐，阖家团圆”。

今天我们要讲的一个内容就是 Docker 容器跨主机的通信方案，我们都知道，在 Docker Swarm、K8s 领域中均涉及到了容器间的通信问题。而 Docker 容器跨主机通信本身就有很多方式，其中就包括了其原生网络 Overlay 和 MacVlan 方案及第三方网络方案，如 Flannel、Calico 和 Weave 等网络通信方案，今天我们就来看看 Flannel 是到底是如何实现通信的（重点是掌握原理）。

一、架构及环境

1、容器通信架构

Etcd-Flannel-Docker

2、实验环境

Hostserverversion备注
192.168.56.120Docker、Flannel23.0.6、0.22.3Docker 服务、Flannel 网络
192.168.56.121Docker、Flannel23.0.6、0.22.3Docker 服务、Flannel 网络
192.168.56.122Etcd3.4.27Etcd 服务

这里为了快速实验，我们的 Etcd 采用单节点的方式部署。

二、服务部署

2.1 Etcd 部署

二进制包下载地址：https://github.com/coreos/etcd/releases

除了二进制方式安装外，还可通过 Docker 方式安装

1、二进制部署

# 复制至shell终端并执行
ETCD_VER=v3.4.27
GOOGLE_URL=https://storage.googleapis.com/etcd
GITHUB_URL=https://github.com/etcd-io/etcd/releases/download
DOWNLOAD_URL=${GOOGLE_URL}
rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
rm -rf /tmp/etcd-download-test && mkdir -p /tmp/etcd-download-test
curl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
tar xzvf /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz -C /tmp/etcd-download-test --strip-components=1
rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz

# 配置环境变量
cp /tmp/etcd-download-test/etcd* /usr/bin/

# 版本验证
etcd --version
etcdctl version

image-20230920160207562

2、编写配置文件

mkdir /data/etcd/data && mkdir /etc/etcd && vim /etc/etcd/etcd.conf

#[member]
ETCD_NAME="etcd"
ETCD_DATA_DIR="/data/etcd/data"
ETCD_LISTEN_CLIENT_URLS="http://192.168.56.122:2379,http://127.0.0.1:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.56.122:2379,http://127.0.0.1:2379"

参数说明：

# ETCD_NAME 节点名称
# ETCD_DATA_DIR 数据目录
# ETCD_LISTEN_CLIENT_URLS 客户端访问监听地址
# ETCD_ADVERTISE_CLIENT_URLS 客户端通告地址
# ETCD_ENABLE_V2
# 在 ETCD v3.4 版本中 ETCDCTL_API=3 和 --enable-v2=false 成为了默认配置
# 如要使用 ETCD v2 版本, 需要 ETCD_ENABLE_V2=true，否则会报错“404 page not found”

3、配置 systemd 管理

vim /lib/systemd/system/etcd.service

[Unit]
Description=etcd
Documentation=https://github.com/coreos/etcd
Conflicts=etcd.service

[Service]
Type=notify
ExecStart=/usr/bin/etcd
EnvironmentFile=/etc/etcd/etcd.conf
Restart=on-failure
RestartSec=10
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

启动并设置开机自启动

systemctl start etcd.service
systemctl enable etcd.service
systemctl status etcd.service

image-20230920162318703

可正常数据读写！

4、Etcd 添加网段

vim /data/etcd/flannel-config.json
----------------------------------------------
{
"Network": "10.2.0.0/16",
"SubnetLen": 24,
"SubnetMin": "10.2.1.0",
"SubnetMax": "10.2.254.0",
"Backend":{
  "Type": "vxlan"
   }
}
----------------------------------------------
# 参数说明：
# Network（字符串）：CIDR格式的IPv4网络，用于整个flannel网络。（这是唯一的强制密钥。）
# SubnetLen（整数）：分配给每个主机的子网大小，除非Network小于24，否则默认为24（即/24）。
# SubnetMin（字符串）：子网分配应从哪个IP范围开始，默认为第一个子网Network。
# SubnetMax（字符串）：子网分配应结束的IP范围的结尾，默认为最后一个子网Network。
# Backend（后端）：要使用的后端类型和该后端的特定配置。

etcdctl --endpoints http://192.168.56.122:2379 put /docker/network/config < /data/etcd/flannel-config.json

# 如果你在Etcd本地，可以不指定endpoints（远程则需指定，与连接MySQL、Redis一个道理）
etcdctl put /docker/network/config < /data/etcd/flannel-config.json

5、数据验证

etcdctl get /docker/network/config

image-20230921103528805

Etcd 部署完成，第4、5步也验证了读写没问题！

2.2 Flannel 部署

分别在 20、21 上分别进行以下 5 步来部署

1、部署

# 下载二进制包，解压并配置环境变量
tar xzf flannel-v0.22.3-linux-amd64.tar.gz

# 配置环境变量
cp flanneld mk-docker-opts.sh /usr/bin/

2、配置 systemd 管理

mk-docker-opts.sh：运行后会将 flannel 获取的网络参数写入 /run/flannel/subnet.env 文件

vim /lib/systemd/system/flanneld.service

[Unit]
Description=Flanneld
Documentation=https://github.com/coreos/flannel
After=network.target
Before=docker.service

[Service]
User=root
ExecStartPost=/usr/bin/mk-docker-opts.sh
ExecStart=/usr/bin/flanneld \
-etcd-endpoints=http://192.168.56.122:2379 \
-iface=ens33 \
-ip-masq=true \
-etcd-prefix=/docker/network
Restart=on-failure
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

3、启动 flannel

必须先提前保证 etcd 启动正常，才能使 flannel 获取正确地址段，docker 容器才能从 flannel 获取唯一地址。

systemctl daemon-reload
systemctl start flanneld.service
systemctl enable flanneld.service
systemctl status flanneld.service

2.3 Docker 网络配置

120服务器的 Docker 启动参数添加：--bip=10.2.23.1/24 --mtu=1450

121服务器的 Docker 启动参数添加：--bip=10.2.79.1/24 --mtu=1450

注意启动顺序，Etcd => flannel => Docker

注意的是，要先启动 flannel，这样的话才能根据 flannel 分配到的 IP 来修改 Docker 的启动参数。

1、修改 docker 启动参数

vim /lib/systemd/system/docker.service

[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --bip=10.2.23.1/24 --mtu=1450
...
...

2、启动 Docker

systemctl daemon-reload
systemctl start docker.service
systemctl enable docker.service
systemctl status docker.service

3、此时看看服务器就多了一个 flannel 的虚拟网卡

其 IP 正是我们 flannel 配置文件中指定的 IP 段，此时 docker0 的 IP 也发生了变化，因为上面我们修改了 docker 服务的启动参数。

image-20230921104106895

三、容器通信验证及路由分析

3.1 通信验证

1、120 服务器运行测试容器

docker run -it --rm --name test120 busybox

image-20230921110641057

2、121 服务器运行测试容器

docker run -it --rm --name test121 busybox

image-20230921110710154

3、互 Ping 连通性验证

# 120 Ping 121
ping 10.2.79.2
PING 10.2.79.2 (10.2.79.2): 56 data bytes
64 bytes from 10.2.79.2: seq=0 ttl=62 time=1.021 ms
64 bytes from 10.2.79.2: seq=1 ttl=62 time=1.897 ms
64 bytes from 10.2.79.2: seq=2 ttl=62 time=2.176 ms
64 bytes from 10.2.79.2: seq=3 ttl=62 time=1.082 ms

# 121 Ping 120
ping 10.2.23.3
PING 10.2.23.3 (10.2.23.3): 56 data bytes
64 bytes from 10.2.23.3: seq=0 ttl=62 time=2.494 ms
64 bytes from 10.2.23.3: seq=1 ttl=62 time=1.734 ms
64 bytes from 10.2.23.3: seq=2 ttl=62 time=2.074 ms
64 bytes from 10.2.23.3: seq=3 ttl=62 time=1.913 ms

当然也能正常访问外网（如百度、京东等）！

3.2 路由转发分析

我们以 120 上的路由规则来讲解。

image-20230921115939498

  1. default via 192.168.56.2 dev ens33 proto static metric 100

    默认路由，将所有不在本地子网范围内的数据包发送到网关 192.168.56.2，通过 ens33 网卡进行传输，路由优先级为 100。

  2. 10.2.23.0/24 dev docker0 proto kernel scope link src 10.2.23.1

    将目标网段 10.2.23.0/24 的数据包通过 docker0 网卡传输，源IP地址为10.2.23.1。

  3. 10.2.79.0/24 via 10.2.79.0 dev flannel.1 onlink

    将目标网段 10.2.79.0/24 的数据包通过 flannel.1 网卡传输，网关为 10.2.79.0，onlink 表示网关是直接可达的，也就是在同一子网内。

  4. 192.168.56.0/24 dev ens33 proto kernel scope link src 192.168.56.120 metric 100

    将目标网段 192.168.56.0/24 的数据包通过 ens33 网卡传输，源IP地址为 192.168.56.120，路由优先级为100。

字段解释：

  • proto：表示路由协议；
  • dev：表示出接口；
  • src：表示源IP地址；
  • metric：表示路由优先级（值越小优先级越高）；
  • onlink：表示网关直接可达；
  • scope link：表示本地链路，即在同一子网内。

3.3 数据分发分析

  1. 容器直接使用目标容器的 ip 访问，默认通过容器内部的eth0发送出去。
  2. 报文通过 veth pair 被发送到 vethXXX。
  3. vethXXX 直接连接到虚拟交换机 docker0 的，报文通过虚拟 bridge docker0 发送出去。
  4. 查找路由表，外部容器 ip 的报文都会转发到 flannel0 虚拟网卡，这是一个 P2P 的虚拟网卡，然后报文就被转发到监听在另一端的 flanneld。
  5. flanneld 通过 etcd 维护了各个节点之间的路由表，把原来的报文 UDP 封装一层，通过配置的 iface 发送出去。
  6. 报文通过主机之间的网络找到目标主机。
  7. 报文继续往上，到传输层，交给监听在 8285 端口的 flanneld 程序处理。
  8. 数据被解包，然后发送给 flannel0 虚拟网卡。
  9. 查找路由表，发现对应容器的报文要交给 docker0。
  10. docker0 找到连到自己的容器，把报文发送过去。

总结

过程其实很简单，重点是掌握理论，如路由转发、数据分发的过程，Flannel 依赖三层 IP 转发，但不会对数据包进行封装，属于 underlay 网络。还有就是实验过程中注意 Docker、Flannel 的启动顺序。

—END

云计算-Security
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
详解Docker 容器跨主机多网段通信解决方案
01-20
总的来说，MacVlan提供了一种直接且简单的方法来解决Docker容器的跨主机通信问题，尤其是在单一网络环境下的部署。然而，对于大规模、多网络段的部署，考虑使用更高级的网络解决方案，以确保网络性能和安全性。同时...
Docker跨主机通信解决方案探讨
01-27
三、WeaveWeave是另一个流行的Docker跨主机通信解决方案，它创建一个全局的虚拟网络，所有容器都可以在这个网络中互相通信，无需关心它们所在的宿主机。Weave使用自定义的协议和分布式算法来动态地建立和维护容器间...
Docker 跨主机容器网络通信 -- Flannel 实现
刘李404not_found的博客
02-15 1460
一、简介 Flannel 是一种基于 overlay 网络的跨主机容器网络解决方案，也就是将 TCP 数据包封装在另一种网络包里面进行路由转发和通信，Flannel 是 CoreOS 开发，专门用于 Docker 多机互联的一个工具，让集群中的不同节点主机创建的容器都具有全集群唯一的虚拟 IP 地址，Flannel 使用 go 语言编写。 ...
Docker学习笔记（五）Docker跨主机网络--flannel方案
你说亮不亮的博客
07-11 639
flannel是COREOS公司开发的容器网络解决方案，flannel为每个容器分配一个subnet，该主机上的容器从这个subnet上获取地址，这些IP可以在主机之间路由，容器之间无需NAT和port mapping就可以互相通信。 每个subnet都是从一个更大的地址池中划分的，flannel会在每个主机上运行一个叫flanneld的agent，其职责就是从这个大的地址池中分配subnet。为...
Docker- 7.3、跨主机网络-flannel
无痕的博客
12-30 1141
跨主机网路flannel
Docker | Docker容器跨主机通信--Overlay网络
Willian的博客屋
10-23 2600
先介绍一下Docker 1.9的新网络特性 Docker在1.9版本中引入了一整套的自定义网络命令和跨主机网络支持。这是libnetwork项目从Docker的主仓库抽离之后的一次重大变化。不论你是否已经注意到了，Docker的网络新特性即将对用户的习惯产生十分明显的改变。 ‌‌ libnetwork和Docker网络 libnetwork项目从lincontainer和Docker代码的分离...
Docker-Docker容器跨主机通信
09-09 525
Docker默认的网络环境下，单台主机上的Docker容器可以通过docker0网桥直接通信，而不同主机上的Docker容器之间只能通过在主机上做端口映射进行通信。这种端口映射方式对很多集群应用来说极不方便。如果能让Docker容器之间直接使用自己的IP地址进行通信，会解决很多问题。按实现原理可分别直接路由方式、桥接方式（如pipework）、Overlay隧道方式（如flannel、o...
Docker容器跨主机通信--overlay网络
weixin_30384031的博客
08-30 212
一、Docker主机间容器通信的解决方案 　　Docker网络驱动 Overlay: 基于VXLAN封装实现Docker原生Overlay网络 Macvlan: Docker主机网卡接口逻辑上分为多个子接口，每个子接口标识一个VLAN。容器接口直接连接Docker主机 网卡接口: 通过路由策略转发到另一台Docker主机 　　第三方网络项目 　　 隧道方案...
Flannel实现Docker容器多主机通信
zyy247796143的博客
06-01 775
flannel 是 CoreOS 开发的容器网络解决方案。flannel 为每个 host 分配一个 subnet（子网），容器从此 subnet 中分配 IP，这些 IP 可以在主机间路由，容器间无需 NAT 和 port mapping（端口映射） 就可以跨主机通信。因为flannel实现跨主机的子网通信是通过主机中的dr0网卡进行通信的，由flannel分配的子网都是从手动指定的一个大的子网中划分出来分配的。 flannel 会在每个主机上运行一个叫 flanneld 的代理。其职责就是从池子中分配
Docker（六）--Docker网络--单机、跨主机容器通信
Gong_yz的博客
03-06 1074
本节总结本机、跨主机容器的通信方式
docker容器技术篇：安装与配置flannel
qq_39241682的博客
04-19 1330
Docker安装与配置flannelflannel是什么？Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址；通俗的将就是通过flannel接管docker集群的网络，保障docker集群中容器的网络不会冲突。但在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能分配相同的内外IP地址。
Etcd + flannel + Docker 实现 docker 跨主机容器之间通讯 .pdf
06-26
本文档集成了 docker 、flannel、etcd 配置搭建，实现了跨主机容器访问技术
Docker网络解决方案-Flannel部署记录（个人珍藏版）
08-30
总之，Flannel为Docker提供了跨主机的简单网络解决方案，使得容器可以在任何节点上运行并保持通信。然而，理解其工作原理和限制是成功部署和管理的关键。在不断发展的容器技术领域，持续学习和了解最新的网络解决...
175道Docker面试题（上）
weixin_62922268的博客
07-22 1313
Docker是一个容器化平台，以容器的形式将我们的应用程序及其所有依赖项打包在一起，以确保我们的应用程序在任何环境中无缝运行，可以理解为一个应用打包、分发、部署的工具。我们也可以把它理解为一个轻量的虚拟机，Docker只虚拟我们的软件需要的运行环境，多余的一点都不要，而普通虚拟机则是一个完整而庞大的系统，包含各种不管我们要不要的软件。
Docker快速入门
最新发布
weixin_62432037的博客
07-24 833
镜像就是包括了应用程序、程序运行的系统函数库、运行配置等文件的文件包。构建镜像的过程就是其实把上述文件打包的过程。部署一个Java应用的步骤：（1）准备一个Linux服务器（2）安装JRE并配置环境变量（3）拷贝Jar包（4）运行Jar包ps:JRE是运行时环境，它提供了 Java 虚拟机（JVM）、核心类库以及其他支持文件，允许用户在其计算机上执行 Java 程序。不同的操作系统用的JVM是不一样的。构建一个Java镜像的步骤：（1）准备一个Linyx运行环境。
记录unraid docker更新的域名
Hot_Ant的博客
07-24 277
背景：级联。
Docker 深度解析：从入门到精通
2301_77695569的博客
07-22 1344
Docker 是一个开源的应用容器引擎，它允许开发者将应用及其依赖环境打包到一个可移植的容器中。Docker 使用 Linux 容器（LXC）技术，但与 LXC 相比，Docker 提供了更易用的接口和更高效的资源利用。EXPOSE 80"]Docker 作为容器化技术的代表，极大地简化了应用的部署和管理。通过本文的介绍，希望你能对 Docker 有一个全面的了解，并能够开始使用 Docker 来管理和部署你的应用。Docker 的世界非常广阔，还有很多高级功能等待你去探索和使用。
【docker】部署证书过期监控系统mouday/domain-admin
阿杰
07-24 407
证书过期了再去部署证书容易被骂，就找了一个开源的证书过期系统来部署一下。
不同服务器的docker容器互通
03-27
要让不同服务器的docker容器互通，需要使用Docker Swarm或Kubernetes等容器编排工具来管理和连接容器。 在Docker Swarm中，可以创建一个Swarm集群来连接多个Docker主机。在集群中，可以定义服务并分配它们到不同的节点上。这样，不同节点上的容器可以互相通信。 在Kubernetes中，可以创建一个Kubernetes集群来连接多个Docker主机。在集群中，可以定义Pod、Service等资源，将它们分配到不同的节点上。这样，不同节点上的容器可以通过Service来互相通信。 无论是Docker Swarm还是Kubernetes，都需要配置网络插件来实现容器之间的通信。常用的网络插件包括Docker自带的overlay网络和Flannel等。这些网络插件可以创建虚拟网络，将不同节点上的容器连接起来，形成一个虚拟的容器网络。容器可以通过虚拟网络互相访问，就像在同一台主机上运行一样。 总之，要让不同服务器的docker容器互通，需要使用容器编排工具和网络插件来实现容器之间的连接和通信。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云计算-Security

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值