Docker Swarm项目
Docker Swarm是Docker官方编排(项目之一,负责对Docker集群进行管理.Docker Swarm将一群Docker宿主机变成一个单一的,虚拟的主机.
Swarm使用标准的Docker API接口作为其前端访问入口,换言之,各种形式的Docker工具比如Dokku,Compose,Krane,Deis,Docker-py,Docker本身等都可以很容易的与Swarm进行集成.
在使用Swarm管理docker集群的时候, 会有一个swarm manager以及若干swarm node,swarm manager上运行swarm daemon,用户只需要跟swarm manager通信,然后swarm manager再根据discovery service的信息选择一个swarm node来运行container.
需要注意的是,swarm daemon只是一个任务调度器(scheduler)和路由器(router),他本身不运行容器,它只接受Docker Client发送过来的请求,调度合适的swarm node来运行container.这意味着,即使swarm daemon由于某些原因挂掉了,已经运行起来的容器也不会有任何影响.
有两点需要注意:
急集群中的每台节点上面的Docker版本都不能小于1.4
为了让swarm manager能够每台swarm node进行通信,集群中的每台几段的Docker daemon都必须监听同一个网络接口.
安装
安装swarm的最简单的方式是使用Docker官方的swarm镜像.但是楼主使用的是Daocloud的镜像.
$docker pull swarm #这是一般从官网的方式下载
$dao pull swarm #这是楼主使用的方式
使用如下命令来测试一下swarm是否安装成功.
$docker run --rm swarm -v如果显示的信息如下:
swarm version 1.2.3 (eaa53c7)
使用
在使用swarm管理集群前,需要把集群中的所有节点的docker daemon的监听方式更改为0.0.0.0:2375.
可以有两种方式达到这个目的.
第一种,再启动docker daemon的时候指定
docker -H 0.0.0.0:2375
第二种,直接修改Docker的配置文件(ubuntu上 /etc/default/docker,linux的版本不同,这个文件可能不同),在文件最后添加这样的一句话:
DOCKER_OPTS=”-H 0.0.0.0:2375 -H unix:///var/run/docker.sock”.
需要注意的是,一定是要在所有被swarm管理的节点上进行的,修改之后需要重启Docker.
service docker restart
Docker 集群管理需要使用服务发现(Discovery service backend)功能.
实验环境:本次实验包括三台集群,IP地址分别为192.168.1.84,192.168.1.83,192.168.1.124,这个时候你能看出咱们前面使用vagrant来管理虚拟机是多方便了吗,配置环境挺爽啊.你只需要改改配置文件就可以了.在上面的任何一台机器上使用swarm carete命令来获取一个集群标志,这个标志是全球唯一的.这条命令执行完毕之后,获得的标志叫做token,这个token用来标示要管理的集群.
我们在84这台机器上执行这条命令,输出如下:
$docker run --rm swarm create
b7625e5a7a2dc7f8c4faacf2b510078e
加入集群
在所有要加入集群的节点上面执行swarm join命令,标示要把这台机器加入这个集群当中,本次实验环境中,就是在83,84,124这三台机器上执行下面的这条命令:
docker run --rm swarm join --addr=ip_address:2375 token://token_id
其中的ip_address换成执行这条命令的机器IP,token_ip换成上一步执行swarm create返回的token.
在83这台机器上面的执行结果如下:
docker run -d swarm join --addr=192.168.1.83:2375 token://
b7625e5a7a2dc7f8c4faacf2b510078e
这条命令通过 -d 参数启动了一个容器,使得83这台机器加入到集群,如果这个容器被停止或者被删除,83这台机器就会从集群中消失.
启动swarm manager
我们要使用83这台机器当做swarm管理节点,所以需要在83这台机器上执行swarm manager命令:
docker rn -d -p 2376:2375 swarm manage token://b7625e5a7a2dc7f8c4faacf2b510078e这条命令如果执行成功后悔返回已经启动的swarm的容器ID, 此时整个集群已经启动起来了.
我们可以使用docker ps命令来看下有没有启动成功:
docker ps
在执行swarm manag这条命令的时候有几点需要注意:
这条命令需要在充当swarm管理者的机器上执行.
swarm要以saemon的形式执行.
映射的端口可以使用任意的除了2375以外的并且未被占用的端口.
我们可以在任何一台机器上执行swarm list命令来查看集群中的节点,例如我们在124这台机器上执行swarm list:
docker run --rm swarm list token://b7625e5a7a2dc7f8c4faacf2b510078e
如果不出意外,我们会输出我们加入到swarm的主机IP.
现在我们可以在任何一台安装了Docker的机器上面通过命令(命令中要指明swarm manager机器的IP地址)来在集群中运行container了.本次实验,我们在192.168.1.85,这台机器上使用docker info命令来查看集群中的节点的信息.
其中info也可以换成其他的Docker支持的命令.
注意这句命令不在前面我们加入swarm三台机器上执行.是在一个新的机器上执行的.
docker -H 192.168.1.83:2376 info
如果你发现上面命令只出现了两台机器,这样的话,可能是某一台机器的监听方式没有修改.只需要按照上面两种监听方式的一种来修改一下就可以了.
还有可能在使用swarm careta的时候,可能会因为网络原因出现错误.
这个时候就出现了我们的第二种方案,使用文件.
这种方法相对于第一种方法要简单的多,把要加入集群的机器IP地址和端口号写入文件中,本次实验就是要在83这台机器上操作:
$echo 192.168.1.83:2375 >> cluster
$echo 192.168.1.84:2375 >> cluster
$echo 192.168.1.124:2375 >> cluster
$cat cluster
192.168.1.83:2375
192.168.1.84:2375
192.168.1.124:2375
第二步是在83这台机器上执行swarm manage:
docker run -d -p 2376:2375 -v $(pwd)/cluster:/tmp/cluster swarm manage file:///tmp/cluster这条命令成功后返回的也是一个ID.
还是使用docker ps命令来查看有没有启动成功.
测试内容和上面的一样.这里不多说了.
swarm调度策略
说一点前面没数过的东西,swarm支持多种调度策略来选择节点.每次在swarm启动container的时候,swarm会根据选择的调度策略来选择节点运行container.目前支持的有:spread,binpack和random.通过名字就能看出他们的调度策略有啥不同.
在执行swarm manage命令启动swarm集群的时候可以通过--strategy参数来指定,默认是spread.spread和binpack策略会根据每台节点的可用CPU,内存以及运行的containers的数量来给各个节点分级,而random策略是随机选择一个节点来启动container.
使用spread策略,swarm会选择一个正在运行的container的数量最少的那个节点来运行container.这种情况会导致启动的container会尽可能的分布在不同的机器上运行,这样的好处就是如果有节点坏掉的时候不会损失太多的container.
binpack则相反,这种情况下,swarm会尽可能的把所有的容器放在一台节点上运行.这种策略会避免容器碎片化,因为它会把未使用的机器分配给更大的容器,带来的好处就是swarm会使用最少的几点运行最多的容器.
spread策略
演示一下spread策略:
$sudo docker run -d -p 2376:2375 -v $(pwd)/cluster:/tmp/cluster swarm manage --strategy=spread file:///tmp/cluster成功之后会返回一个ID.
使用docker ps来看一下运行情况
三台机器除了83运行了swarm之外,其他的都没有运行任何一个容器,现在在85这台机器上面在swarm集群上启动一个容器:
$docker -H 192.168.1.83:2376 run --name node-1 -d -P redis成功还是返回一个ID
$docker -H 192.168.1.83:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
2553799f1372 redis:latest /entrypoint.sh redis 24 minutes ago Up Less than a second 192.168.1.84:32770->6379/tcp 084/node-1
启动一个redis容器,查看结果
$docker -H 192.1687.1.83:2376 run --name node-2 -d -P redis
$docker -H 192.168.1.83:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
7965a17fb943 redis:latest /entrypoint.sh redis Less than a second ago Up 1 seconds 192.168.1.124:49154->6379/tcp 124/node-2
2553799f1372 redis:latest /entrypoint.sh redis 29 minutes ago Up 4 minutes 192.168.1.84:32770->6379/tcp 084/node-1
再次启动一个redis容器,查看结果:
$docker -H 192.1687.1.83:2376 run --name node-2 -d -P redis
$docker -H 192.168.1.83:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
7965a17fb943 redis:latest /entrypoint.sh redis Less than a second ago Up 4 minutes 192.168.1.227:49154->6379/tcp 124/node-2
65e1ed758b53 redis:latest /entrypoint.sh redis 25 minutes ago Up 17 seconds 192.168.1.83:32770->6379/tcp 083/node-3
2553799f1372 redis:latest /entrypoint.sh redis 33 minutes ago Up 8 minutes 192.168.1.84:32770->6379/tcp 084/node-1
能看出三个容器是分布在不同的节点上面的.
binpack策略
现在来看看binpack策略下的情况.在83上面执行命令:
docker run -d -p 2376:2375 -v $(pwd)/cluster:/tmp/cluster swarm manage ---strategy=binpack file:///tmp/cluster现在在集群中启动三个redis容器,查看分布情况.
还是在85这台机器上执行如下命令:
$docker -H 192.168.1.83:2376 run --name node-1 -d -p redis
$docker -H 192.168.1.83:2376 run --name node-2 -d -p redis
$docker -H 192.168.1.83:2376 run --name node-3 -d -p redis
查看一下
$docker -H 192.168.1.83:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
2195086965a7 redis:latest /entrypoint.sh redis 24 minutes ago Up Less than a second 192.168.1.83:32773->6379/tcp 083/node-3
7e778bde1a99 redis:latest /entrypoint.sh redis 24 minutes ago Up Less than a second 192.168.1.83:32772->6379/tcp 083/node-2
18ceefa5e86f redis:latest /entrypoint.sh redis 25 minutes ago Up 22 seconds 192.168.1.83:32771->6379/tcp 083/node-1
这些容器都是在一个节点上运行的.
Swarm过滤器
swarm的调度器(scheduler)在选择节点运行容器的时候支持几种过滤器(filter):Constraint,Affinity,Port,Dependency,Health.
可以在执行swarm manage命令的时候通过--filter选择来设置.
Constraint Filter
constraint是一个跟具体节点相关联的键值对,可以看做是每个节点的标签,这个标签可以在启动docker daemon的时候指定,比如:
$docker -d --label label_name=label01
也可以写在docker的配置文件里面(ubuntu上是在/etc/default/docker).
本次试验中,给83添加标签--label label_name083,84和124添加的类似.以83为例,打开/etc/default/docker文件,修改DOCKER_OPTS:
DOCKER_OPTS="-H 0.0.0.0:2375 -H unix:///var/run/docker.sock --label label_name=083"别忘了,三台机器的DOCKER_OPTS都需要修改.
在使用docker run命令启动容器的时候,使用 -e constarint:key=value 的形式,可以指定container运行的节点.
比如我们想在84上面启动一个redis容器.
$docker -H 192.168.1.83:2376 run --name redis_1 -d -e constraint:label_name==084 redis成功之后返回一个ID.
需要注意的是,这里是两个等号,不是一个!
接下来再在084这台机器上启动一个redia容器.
$docker -H 192.168.1.83:2376 run --name redis_2 -d -e constraint:label_name==084 redis然后再在083这台机器上启动另外一个redis容器.
$docker -H 192.168.1.83:2376 run --name redis_3 -d -e constraint:label_name==083 redis
接下来看一下执行情况:
$docker -H 192.168.1.83:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
7786300b8d22 redis:latest "/entrypoint.sh redi 15 minutes ago Up 53 seconds 6379/tcp 083/redis_3
4968d617d9cd redis:latest "/entrypoint.sh redi 16 minutes ago Up 2 minutes 6379/tcp 084/redis_2
fee1b7b9dde1 redis:latest "/entrypoint.sh redi 19 minutes ago Up 5 minutes 6379/tcp 084/redis_1
可以看到,执行结果跟预期的一样.
但是如果指定一个不存在的标签的话来运行容器会报错.
Affinity Filter
通过使用Affinity Filter,可以让一个容器紧挨着另一个容器启动,也就是说让两个容器在同一个节点上面启动.
先在其中一台机器上面启动一个redis容器.
$docker -H 192.168.1.83:2376 run -d --name redis redis
查看一下
$docker -H 192.168.1.83:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ea13eddf6679 redis:latest /entrypoint.sh redis 24 minutes ago Up Less than a second 6379/tcp 083/redis
然后再次启动两个redis容器.
$docker -H 192.168.1.83:2376 run -d --name redis_1 -e addinity:container==redis redis
$docker -H 192.168.1.83:2376 run -d --name redis_1 -e addinity:container==redis redis
查看一下结果,可以看到三个容器都是在一台机器上运行:
$docker -H 192.168.1.83:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
449ed25ad239 redis:latest /entrypoint.sh redis 24 minutes ago Up Less than a second 6379/tcp 083/redis_2
bac50c2e9552 redis:latest /entrypoint.sh redis 25 minutes ago Up 10 seconds 6379/tcp 083/redis_1
ea13eddf6679 redis:latest /entrypoint.sh redis 28 minutes ago Up 3 minutes 6379/tcp 083/redis
通过-e affinity:image=image_name 命令可以指定只有已经下载了image_name镜像的机器才运行容器.
$docker -H192.168.1.83:2376 run -name redis1 -d -e affinity:image==~redis redis这条命令的效果是:在有redis镜像的节点上启动一个名字叫做redis的容器,如果每个节点上面都没有redis容器,就按照默认的启动策略启动redis容器.
Port Filter
Port会被认为是一个唯一的资源
$docker -H 192.168.1.83:2376 run -d -p 80:80 nginx执行完这条命令,之后任何使用80端口的容器都会启动失败.
说句题外话,这些东西,如果你是使用Vagrantfile来创建的虚拟机,那么你可以很好地给虚拟机分配你想要的任何东西,包括IP地址.这些东西如果使用vagrang来管理虚拟机的话,会显得很简单.
7565
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
