微服务实战之春云与刀客（四）—— docker swarm 集群实战

概述

docker swarm 是一个非常简单的docker 原生集群部署环境。在docker swarm 出来之前，要搭建一个docker 集群需要复杂的网络运维和配置能力，而docker swarm 把这一切都解放了。
简单来说呢，docker swarm把多个docker节点连接成一个集群，可以认为是一个可以互通的独立局域网，通过服务的方式管理应用的生命周期。例如有一个MyService的微服务，在单机的模式需要你分别在两个节点上启动相应的docker 容器，而docker swarm直接就有“服务”的概念，只要在某一管理节点上执行创建服务命令，同时指定节点数为2，则集群自动找两个节点分别运行你的MyService微服务。当两个节点扛不住的时候，你要增加到4个节点，则只需要执行一个扩展命令就行。

docker 安装

本文基于centos 版本7.2搭建的docker 集群，用的是17.09版本的docker。

节点有192.168.0.37和192.168.0.38 两个节点，分别为管理节点和工作节点。工作节点可以运行服务，管理节点也可以运行服务，但比工作节点多了“管理控制”的功能，即可以创建服务。为了避免脑裂现象，管理节点数量为1,3,5奇数。
分别在0.37和0.38上安装docker。

介质下载

https://download.docker.com/linux/centos/7/x86_64/stable/Packages/
wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-ce-17.09.0.ce-1.el7.centos.x86_64.rpm

安装

yum install docker-ce-17.09.0.ce-1.el7.centos.x86_64.rpm

启动

systemctl start docker

开机启动

systemctl enable docker
或者
chkconfig docker on

hostname

vi /etc/hosts 把两个节点的host和ip加上。

搭建和使用 docker hub私有仓库

搭建docker hub私有仓库（0.37）

仓库是用来存放docker镜像的，在创建和启动服务的时候，多个节点需要从仓库中拉取镜像。

sudo docker run -d -p 5000:5000 -v /root/hub:/var/lib/registry --restart=always --name registry2 registry:2

默认情况下，会将仓库存放于容器内的/var/lib/registry目录下，这样如果容器被删除，则存放于容器中的镜像也会丢失，所以我们一般情况下会指定本地一个目录挂载。

https://github.com/docker/docker.github.io/blob/master/registry/index.md

配置拉取镜像认证(0.37/0.38)

客户端访问docker hub拉取镜像，缺省走https的，会报https://192.168.0.37:5000镜像没找到或不存在（No such image: 192.168.0.37:5000/cehome/operation-service:），解决方式一种是通过nginx 添加https代理，我们采用是另一种是非安全方式：

• 打开

1. /usr/lib/systemd/system/docker.service

• 添加（ExecStart=/usr/bin/dockerd 可能已经有，只需要添加insecure参数）
  ExecStart=/usr/bin/dockerd --insecure-registry 192.168.0.37:5000
• 重载
  systemctl daemon-reload
• 重启
  service docker restart

集群环境搭建

参考：
https://docs.docker.com/engine/swarm/swarm-mode/
https://docs.docker.com/engine/reference/commandline/service/

https://docs.docker.com/engine/swarm/how-swarm-mode-works/nodes/
https://docs.docker.com/engine/swarm/how-swarm-mode-works/services/#replicated-and-global-services

关闭防火墙（0.37/0.38）

需要互相访问2377等端口（为方便，直接关闭防火墙，否则可能会有不可意料的事情）

• 查看

systemctl is-enabled firewalld

• 关闭

systemctl stop firewalld.service

• 禁用服务

systemctl disable firewalld

初始化管理节点（0.37）

docker swarm init --advertise-addr 192.168.0.37

（ 多ip的情况：docker swarm init --advertise-addr ，一般要加上，否则会有网络问题）

添加其它节点前查看token（0.37）

添加其它节点到集群，必须先在管理节点执行如下命令，它会打印出在其它节点将要执行的包含token的完整脚本。

1）查看如何添加work节点
docker swarm join-token worker
2）查看如何添加manager节点
docker swarm join-token manager

添加work节点（0.38）

通过上面的命令可以查出执行的脚本，然后拷贝到0.38并执行（即来源于0.37上面执行docker swarm join-token worker的打印结果），执行后0.38就加入了集群。
docker swarm join\
--token SWMTKN-1-3jcd5cjgwy8ct1gfyqqy8oqnokz4jjaul7el97h77qii4e6zw3-1vrjlin1bl5k9whzc4fulqfh2 192.168.0.37:2377

查看节点（0.37）

必须在管理节点才能执行：
docker node ls

创建overlay网络

为什么需要overlay 网络？保证多台机器不同容器之间通信！

docker network create --attachable --driver overlay tiejia
--attachable 参数为了兼容单机的容器可以加入此网络。
tiejia是网络名称。

管理节点信息的备份与恢复

由于目前是单管理节点，最好是备份信息，主要步骤是停止docker，备份目录/var/lib/docker/swarm/
参考：https://docs.docker.com/engine/swarm/admin_guide/#back-up-the-swarm

移除节点的命令（这里只是介绍，不要执行）

当你节点不需要的时候可以从集群剥离，
docker swarm leave -f

例子：部署一个nginx 服务

在manager节点0.37上部署nginx服务，服务数量为3个，公开指定端口是8080映射容器80,使用nginx镜像。这里直接会从官网下载nginx镜像，上面部署的私有仓库还用不上。

docker service create --replicas 3 --name nginx --publish 8080:80  nginx

通过 docker service ps nginx 命令查看服务分布情况。