docker swarm 集群及多主机overlay网络测试

最新推荐文章于 2024-06-24 09:55:34 发布
最新推荐文章于 2024-06-24 09:55:34 发布
阅读量3k 收藏 5
点赞数 3
分类专栏： Docker 文章标签： docker swarm

docker的swarm集群已经支持多主机的overlay网络，而且目前测试下来发现安装及配置非常方便，跟k8s相比，安装及配置要轻松好多。

  1. 测试环境
    使用2台虚拟机来测试，操作系统为ubuntu 16.04.04，系统自带内核为4.2，注意overlay需要3.16以上的内核版本。

主机名 IP 备注

ubuntu1	192.168.12.121	manger
ubuntu2	192.168.12.122	worker
  1. 安装docker
    在所有主机上安装docker,使用官方APT源。
#删除系统自带的docker
apt-get remove docker docker-engine docker.io

#安装内核模块
apt-get install \
    linux-image-extra-$(uname -r) \
    linux-image-extra-virtual

#下载安装Docker APT库源证书
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -
apt-key fingerprint 0EBFCD88

#增加APT库，使用阿里云镜像
add-apt-repository \
   "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu/ \
   $(lsb_release -cs) \
   stable"

#安装docker
apt-get update
apt-get install docker-ce

3. 配置防火墙策略
在ubuntu上可以使用iptables-persistent来管理防火墙

#安装
apt-get install iptables-persistent

#清空策略
/etc/init.d/iptables-persistent flush

#在manager节点增加以下策略:
iptables -A INPUT -p tcp --dport 22 -j ACCEPT
iptables -A INPUT -p tcp --dport 2376 -j ACCEPT
iptables -A INPUT -p tcp --dport 2377 -j ACCEPT
iptables -A INPUT -p tcp --dport 7946 -j ACCEPT
iptables -A INPUT -p udp --dport 7946 -j ACCEPT
iptables -A INPUT -p udp --dport 4789 -j ACCEPT

#在worker节点增加以下策略:
iptables -A INPUT -p tcp --dport 22 -j ACCEPT
iptables -A INPUT -p tcp --dport 2376 -j ACCEPT
iptables -A INPUT -p tcp --dport 7946 -j ACCEPT
iptables -A INPUT -p udp --dport 7946 -j ACCEPT
iptables -A INPUT -p udp --dport 4789 -j ACCEPT

#保存策略
/etc/init.d/iptables-persistent save

#重启docker
service docker restart
各端口的作用如下： 
– TCP port 2376 for secure Docker client communication. This port is required for Docker Machine to work. Docker Machine is used to orchestrate Docker hosts. 
– TCP port 2377. This port is used for communication between the nodes of a Docker Swarm or cluster. It only needs to be opened on manager nodes. 
– TCP and UDP port 7946 for communication among nodes (container network discovery). 
– UDP port 4789 for overlay network traffic (container ingress networking).
  1. 配置swarm集群
    在manager节点上初始化集群，在manager上执行以下命令:
root@ubuntu1:/etc/apt  docker swarm init --advertise-addr 192.168.12.121

Swarm initialized: current node (tg8klhxnuk89tya2lhe35tqx7) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join --token SWMTKN-1-4m8sl3yl15aop8g7045evqcdh7yxvkrg6be2hhatz2wcyne4d2-ed56hwycegzmq18bvpm3pmodz 10.16.16.56:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

把worker节点加入集群，在worker上执行以下命令:

docker swarm join --token SWMTKN-1-4m8sl3yl15aop8g7045evqcdh7yxvkrg6be2hhatz2wcyne4d2-ed56hwycegzmq18bvpm3pmodz 10.16.16.56:2377
好了，现在我们可以在manager上查看集群及网络：

root@ubuntu1:/etc/apt# docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
g6f1pd68qjk7wqggtc4zyf *   ubuntu1             Ready               Active              Leader              18.06.0-ce
mzdlapyot4zb7dj15t0wcy99h     ubuntu2             Ready               Active                                  18.06.0-ce

root@ubuntu1:/etc/apt# 
root@ubuntu1:/etc/apt# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
b76e6c3cada        bridge              bridge              local
a02511ca57        docker_gwbridge     bridge              local
bb0a7a05d2c5        host                host                local
ojjiuarwgrpm        ingress             overlay             swarm
dac67e9965        none                null                local

5. 创建容器overlay网络
#创建网络
root@ubuntu1:/etc/apt# docker network create -d overlay --subnet=192.168.0.0/24 --gateway=192.168.0.254 --attachable testnetwork
crsggk0wycauo9kjwj8z00f1

#查看网络
root@ubuntu1:/etc/apt# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
b76e6c3cada        bridge              bridge              local
a02511ca57        docker_gwbridge     bridge              local
bb0a7a05d2c5        host                host                local
ojjiuarwgrpm        ingress             overlay             swarm
dac67e9965        none                null                local
crsggk0wyca        testnetwork         overlay             swarm

#查看刚刚创建的网络
root@ubuntu1:/etc/apt# docker network inspect testnetwork
[
    {
        "Name": "testnetwork",
        "Id": "0crsggk0wycauo9kjwj8z00f1",
        "Created": "2018-08-09T17:05:06.757781593Z",
        "Scope": "swarm",
        "Driver": "overlay",
        "EnableIPv6": false,
        "IPAM": {
            "Driver": "default",
            "Options": null,
            "Config": [
                {
                    "Subnet": "192.168.0.0/24",
                    "Gateway": "192.168.0.254"
                }
            ]
        },
        "Internal": false,
        "Attachable": true,
        "Ingress": false,
        "ConfigFrom": {
            "Network": ""
        },
        "ConfigOnly": false,
        "Containers": null,
        "Options": {
            "com.docker.network.driver.overlay.vxlanid_list": "4097"
        },
        "Labels": null
    }
]
  1. 容器网络测试
    在manager节点上创建一个容器busybox1:
root@ubuntu1:/etc/apt# docker run -itd --name=busybox1 --network=testnetwork busybox /bin/sh
Unable to find image 'busybox:latest' locally
latest: Pulling from library/busybox
c5a7da1afbc: Pull complete 
Digest: sha256:cb63aa0641a885f54de20f61d152187419e8f6b159ed11a251a09d115fdff9bd
Status: Downloaded newer image for busybox:latest
a0c723dd2990813a07d1e9d95b8924edea0bf4e507471ebb619a3ad68ee3a70

#再次查看网络，可以发现有了容器的IP及LB IP
root@ubuntu1:/etc/apt# docker network inspect testnetwork                                   
[
    {
        "Name": "testnetwork",
        "Id": "0crsggk0wycauo9kjwj8z00f1",
        "Created": "2018-08-10T01:06:34.830676798+08:00",
        "Scope": "swarm",
        "Driver": "overlay",
        "EnableIPv6": false,
        "IPAM": {
            "Driver": "default",
            "Options": null,
            "Config": [
                {
                    "Subnet": "192.168.0.0/24",
                    "Gateway": "192.168.0.254"
                }
            ]
        },
        "Internal": false,
        "Attachable": true,
        "Ingress": false,
        "ConfigFrom": {
            "Network": ""
        },
        "ConfigOnly": false,
        "Containers": {
            "1a0c723dd2990813a07d1e9d95b8924edea0bf4e507471ebb619a3ad68ee3a70": {
                "Name": "busybox1",
                "EndpointID": "95bc3d1c0ddd3aacb15070aafb8aebb9dc31029ca0684288af72081ab34ad085",
                "MacAddress": "02:42:c0:a8:00:03",
                "IPv4Address": "192.168.0.3/24",
                "IPv6Address": ""
            },
            "lb-testnetwork": {
                "Name": "testnetwork-endpoint",
                "EndpointID": "0f28c078488afb7a19a2d8ec37bb6df5991f763db2f714c0f8c1f23728fb5b46",
                "MacAddress": "02:42:c0:a8:00:01",
                "IPv4Address": "192.168.0.1/24",
                "IPv6Address": ""
            }
        },
        "Options": {
            "com.docker.network.driver.overlay.vxlanid_list": "4097"
        },
        "Labels": {},
        "Peers": [
            {
                "Name": "67603512578a",
                "IP": "192.168.12.121"
            },
            {
                "Name": "f77f0897a85b",
                "IP": "192.168.12.122"
            }
        ]
    }
]
在worker节点上创建一个容器busybox2:

root@ubuntu2:~# docker run -itd --name=busybox2 --network=testnetwork busybox /bin/sh
Unable to find image 'busybox:latest' locally
latest: Pulling from library/busybox
c5a7da1afbc: Pull complete 
Digest: sha256:cb63aa0641a885f54de20f61d152187419e8f6b159ed11a251a09d115fdff9bd
Status: Downloaded newer image for busybox:latest
bb544eaf149086f93e6c35d9098a937282ed442be582e4516c24ac5fce9100da

root@ubuntu2:~# docker network inspect testnetwork
[
    {
        "Name": "testnetwork",
        "Id": "0crsggk0wycauo9kjwj8z00f1",
        "Created": "2018-08-10T01:07:23.121549142+08:00",
        "Scope": "swarm",
        "Driver": "overlay",
        "EnableIPv6": false,
        "IPAM": {
            "Driver": "default",
            "Options": null,
            "Config": [
                {
                    "Subnet": "192.168.0.0/24",
                    "Gateway": "192.168.0.254"
                }
            ]
        },
        "Internal": false,
        "Attachable": true,
        "Ingress": false,
        "ConfigFrom": {
            "Network": ""
        },
        "ConfigOnly": false,
        "Containers": {
            "bb544eaf149086f93e6c35d9098a937282ed442be582e4516c24ac5fce9100da": {
                "Name": "busybox2",
                "EndpointID": "bd61b48e4b066d9e9ca81a267ee0c554c047f6bd68e16795fff81180f4b3fcdd",
                "MacAddress": "02:42:c0:a8:00:04",
                "IPv4Address": "192.168.0.4/24",
                "IPv6Address": ""
            },
            "lb-testnetwork": {
                "Name": "testnetwork-endpoint",
                "EndpointID": "f912103a56c705c31c8ee9476dfca1c53d0e2e321781a38338b3a180c3d08f36",
                "MacAddress": "02:42:c0:a8:00:02",
                "IPv4Address": "192.168.0.2/24",
                "IPv6Address": ""
            }
        },
        "Options": {
            "com.docker.network.driver.overlay.vxlanid_list": "4097"
        },
        "Labels": {},
        "Peers": [
            {
                "Name": "67603512578a",
                "IP": "192.168.12.121"
            },
            {
                "Name": "f77f0897a85b",
                "IP": "192.168.12.122"
            }
        ]
    }
]

下面在刚刚创建的2个容器内互相PING对方做测试：

#manager节点
root@ubuntu1:/etc/apt# docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED              STATUS              PORTS               NAMES
a0c723dd299        busybox             "/bin/sh"           About a minute ago   Up About a minute                       busybox1

root@ubuntu1:/etc/apt# docker exec -it 1a0c723dd299 ping 192.168.0.4
PING 192.168.0.4 (192.168.0.4): 56 data bytes
 bytes from 192.168.0.4: seq=0 ttl=64 time=1.040 ms
 bytes from 192.168.0.4: seq=1 ttl=64 time=0.763 ms
 bytes from 192.168.0.4: seq=2 ttl=64 time=0.854 ms
 bytes from 192.168.0.4: seq=3 ttl=64 time=0.745 ms
 bytes from 192.168.0.4: seq=4 ttl=64 time=0.846 ms
 bytes from 192.168.0.4: seq=5 ttl=64 time=0.716 ms
 bytes from 192.168.0.4: seq=6 ttl=64 time=0.889 ms
^C
--- 192.168.0.4 ping statistics ---
 packets transmitted, 7 packets received, 0% packet loss
round-trip min/avg/max = 0.716/0.836/1.040 ms

#worker节点
root@ubuntu2:~# docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
bb544eaf1490        busybox             "/bin/sh"           2 minutes ago       Up 2 minutes                            busybox2
root@ubuntu2:~# docker exec -it bb544eaf1490 ping 192.168.0.3
PING 192.168.0.3 (192.168.0.3): 56 data bytes
 bytes from 192.168.0.3: seq=0 ttl=64 time=0.754 ms
 bytes from 192.168.0.3: seq=1 ttl=64 time=0.677 ms
 bytes from 192.168.0.3: seq=2 ttl=64 time=0.873 ms
^C
--- 192.168.0.3 ping statistics ---
 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.677/0.768/0.873 ms
root@ubuntu2:~# 
可以发现在2台主机上的容器已经可以互连ping通对方了。

  1. 云环境限制
    由于docker原生的overlay网络使用的是标准的vxlan协议，使用的端口也是标准的vxlan端口（UDP 4789）。而各个云环境，如阿里云，腾讯云，也都是使用vxlan使用的。所以会有冲突，UDP 4789网络是不通的。目前也没有找到变通的办法。docker目前为止还不支持自定义vxlan端口。（在腾讯云的黑石环境验证过，确定不行）

  2. 参考
    https://docs.docker.com/network/network-tutorial-overlay/

https://www.digitalocean.com/community/tutorials/how-to-configure-the-linux-firewall-for-docker-swarm-on-ubuntu-16-04

_Zephyrus_
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解使用docker 1.12 搭建多主机docker swarm集群
09-30
在本文中，我们将深入探讨如何使用Docker 1.12版本构建多主机的Docker Swarm集群。Docker Swarm是Docker公司提供的一个容器编排工具，它允许用户在一组Docker主机上管理和部署容器化应用，实现集群化运行。 首先，...
docker overlay network测试
勤奋的猪
04-12 8030
docker自1.9版本后，引入了overlay网络（本文不具体分析其背后使用的技术）。重点解决之前docker网络在跨主机通信方面的不足。本文记录，参考官方指导文档，搭建测试overlay网络的过程。 文中使用的os为centos7，内核版本为3.10。而docker 1.9版本overlay网络要求内核版本在3.19以上。自docker 1.10版本后，docker overlay 支持3.1
Docker Swarm网络通讯过程详解
weixin_43762303的博客
03-23 5351
本文主要结合一个部署了nginx服务的swarm集群案例来分析其网络通讯的整个过程。
docker swarm 网络架构
最新发布
weixin_41438870的博客
06-24 1175
overlay 网络，也称为重叠网络或覆盖网络，是一种构建于 underlay 网络之上的逻辑虚拟网络。即在物理网络的基础上，通过节点间的单播隧道机制将主机两两相连形成的一种虚拟的、独立的网络。Docker Swarm 集群中的 overlay 网络主要是通过 iptables、ipvs、vxlan 等技术实现的、基于其本身通信需求的网络模型。
【Docker系列】Swarm 的 overlay 网络详解
柏杉的博客小屋
01-25 3941
多节点集群搭建 请看上一篇文章：【Docker系列】Docker Swarm 多节点集群 Swarm 的 overlay 网络详解 可以看到overlay网络 $ docker network ls NETWORK ID NAME DRIVER SCOPE aba37840837a bridge bridge local 20a5dcd30faa docker_gwbridge bridge local 97d548bf9
【Docker之Swarm详细讲解&Swarm集群搭建&管理节点&工作节点&Raft一致性协议&overlay网络&Docker结合Swarm部署WordPress个人博客实战】
Coder_ljw的博客
10-29 2648
【Docker之Swarm详细讲解&Swarm集群搭建&管理节点&overlay网络&工作节点&Raft一致性协议&Docker结合Swarm部署WordPress个人博客实战】Swarm是Docker官方提供的一款集群管理工具，其主要作用是把若干台Docker主机抽象为一个整体，并且通过一个入口统一管理这些Docker主机上的各种Docker资源。Swarm和Kubernetes比较类似，但是更加轻，具有的功能也较kubernetes更少一些。
Docker Swarm搭建Overlay网络，实现跨主机通信的排坑记录
weixin_43008154的博客
10-06 2104
这只是一个排坑记录，注意，我非常不建议你继续阅读下去，非局域网搭建overlay完全是吃力不讨好的行为，是个于我而言难以完成的目标非局域网间使用swarm配置overlay进行容器通信的坑实在太多了，排到最后也没有排干净，放弃了，如果对排坑过程感兴趣，或者你也想实践一下在非局域网间自己搭建一个“局域网”（bushi），请继续阅读吧。
Shipyard 支持多主机 Docker 集群管理 它使用 Docker Swarm 进行集群资源和调度
06-02
Docker Swarm 是 Docker 的集群管理器，它将多个 Docker 主机聚合在一起形成一个单一的虚拟 Docker 主机，这个虚拟主机可以像操作单个 Docker 主机一样进行操作，但拥有更强大的扩展性和容错性。Swarm 提供了服务...
Docker overlay 网络搭建的方法
09-30
Docker Overlay网络是一种在现有物理或虚拟网络之上构建的软件定义网络层，它允许Docker容器在不同的主机间通信，而无需关心底层网络的具体配置。Overlay网络的核心思想是通过网络虚拟化技术，将多个独立的网络连接...
详解Docker Swarm服务发现和负载均衡原理
09-30
Docker Swarm 是 Docker 的集群管理工具，它允许用户通过简单的命令将多台 Docker 主机组成一个集群，从而实现服务的高可用性和弹性伸缩。在 Docker Swarm 中，服务发现和负载均衡是两个关键特性，它们确保了服务的...
对docker中的overlay式网络详解
01-08
overlay（覆盖）式网络会在多个docker守护进程所在的主机之间创建一个分布式的网络。这个网络会覆盖宿主机特有的网络，并允许容器连接它（包括集群服务中的容器）来安全通信。显然，docker会处理docker守护进程源...
Docker搭建Swarm跨主机overlay网络
weixin_43972854的博客
03-23 3316
一、Docker Swarm Swarm是Docker公司推出的用来管理docker集群的平台，几乎全部用GO语言来完成的开发的，代码开源在https://github.com/docker/swarm， 它是将一群Docker宿主机变成一个单一的虚拟主机，Swarm使用标准的Docker API接口作为其前端的访问入口，换言之，各种形式的Docker Docker 1.12 Swarm mod...
docker swarm 部署服务网络问题
go|Python的个人博客
08-23 1678
docker swarm 部署服务时可能会出现，启动服务特别慢的情况，甚至一个service 启动后，容器会长时间处于 preparing 状态，直到 状态切换成 running 状态后，才会启动下一个service。然后查询资料发现如果您发现容器在一段时间后仍然停留在Preparing状态，可能是由于多种因素导致的。
深入docker-swarm overlay网络模型
weixin_42211693的博客
04-22 1080
overlay网络也被称为重叠网络或覆盖网络，是一种基于underlay网络之上的逻辑网络，既在物理网络的基础之上，通过节点间的单播隧道机制将主机两两相连形成的虚拟的，独立的网络。Docker swarm集群中的overlay网络主要是通过iptables，ipvs，vxlan等技术实现的，基于本身通信需求的网络模型。
Docker网络教程（三）overlay 网络教程
weixin_42445065的博客
06-09 2964
演示了如何创建和使用你自己的自定义 overlay 网络，以连接服务。建议在生产环境中运行的服务使用这个方法。
Docker Swarm网络管理
focus：Follow One Cause Until Success
02-20 1041
ingress网络主要对集群中的服务进行负载均衡。未设置ingress网络的情况下，将会影响集群多分片任务的使用。在Docker网络中，有且仅有一个ingress类型网络，Docker允许你手动自定义ingress网络。若是先有的网络中存在冲突网段，需要修改ingress网络。可以收到删除先有的ingress网络，重新创建ingress网络，指定网段。在删除ingress网络前，需要先停止ingress连接的服务删除现有的ingress网络创建新的ingress网络。
【云原生】详细学习Docker-Swarm部署搭建和基本使用
征服Bug的博客
08-04 6096
Docker Swarm 是 Docker 的集群管理工具。它将 Docker 主机池转变为单个虚拟 Docker 主机，使得容器可以组成跨主机的子网网络。Docker Swarm 提供了标准的 Docker API，所有任何已经与 Docker 守护程序通信的工具都可以使用 Swarm 轻松地扩展到多个主机。集群的管理和编排是使用嵌入到 docker 引擎的 SwarmKit，可以在 docker 初始化时启动 swarm 模式或者加入已存在的 swarm。
深入理解 Docker 网络——多机通信及 Docker Swarm 实战
一束尘光的技术分享
12-13 1027
网络是云原生的灵魂，这篇文章将带你深入理解 Docker 在多机中是如何通信的
Docker深入浅出系列 | Swarm多节点实战
Eshare分享
03-16 2567
vagrantfile boxes = [ { :name => "manager-node", :eth1 => "192.168.101.11", :mem => "1024", :cpu => "1" }, { :name => "worker01-node"...
在docker swarm集群中，使用overlay网络, 在node2 上创建NFS服务器运行3个 app.zip的镜像,indexjs页面持久化到nfs服务器.三个容器使用集群的轮询效果，详细过程
05-28
在 Docker Swarm 集群中，使用 overlay 网络可以实现跨主机的容器通信。在本次场景中，我们需要在 node2 上创建一个 NFS 服务器，并将 index.js 页面持久化到 NFS 服务器，以供三个 app.zip 的镜像使用。 下面是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值