Keepalived的作用是检测服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived 将检测到,并将有故障的服务器从系统中剔除,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。
首先我们简要说明一下Keepalived 的相关启动脚本及配置文件:keepalived.sh是核心的脚本用来启动服务,keepalived.conf文件则是该服务的配置文件。对于 Keepalived,我们需要关心的几个重要参数如下:
- 虚拟IP地址及其掩码
- VRRP所侦听检测的端口(也就是HA针对具体哪一个端口做健康检查)
- VRRP基于哪个网卡接口发布。
我相信Rancher的官方手册已经对Catalog的制作流程做了详尽的说明,但是仍然有一些朋友看了Rancher手册上Catalog那一节,晕晕乎乎,不懂如何制作应用的 Catalog。
结合Keepalived,我们来看具体的Catalog是如何创建的吧。
首先,你需要在github或者你自己的gitlab上创建一个项目,这个项目只要能被git clone指令正常处理就 OK。 例如我们在github网站上创建的项目结构如下图所示:
templates目录里对应的是我们Rancher里Cattle环境的Catalog。kubernetes-templates和swarm-templates以及mesos-templates则对应不同环境的模板。进入这个templates,我们可以看见在Rancher Catalog页面对应的那些软件模板名。
我们进入Keepalived文件夹看个究竟,就会很容易的了解官方文档对Catalog编制的流程指引。
这个catalogIcon-keepalived.png图正是我们看见的它:
config.yml文件则是该catalog的基础描述;0目录是指第一个版本,那么下一次你发新版的Catalog,则需另建立一个1目录。
每个版本文件夹例如0里面均包含了三个文件。
这正是我们创建一个Stack所需要的docker-compose.yml以及rancher-compose.yml,当然还有一个README.md 文件,用以对Stack进行详细描述。
对于这个Keepalived,其 docker-compose.yml特别的简单:
Keepalived:
labels:
io.rancher.scheduler.global: 'true' environment:
VIRTUAL_IP: "${virtual_ip}"
CHECK_PORT: "${check_port}"
VRID: 150
INTERFACE: "${network_interface}"
NETMASK_BIT: "${netmask_bit}"
tty: true
image: alanpeng/rancher-keepalived stdin_open: true
net: host
cap_add:
- NET_ADMIN
- NET_BROADCAST
不过这里的image你可需要花点功夫了,你需要处理正确的环境变量、参数的传递。否则我们在Rancher Catalog里看到的这些参数传递一旦出现问题,那么服务肯定跑不起来了,用于制作image的Dockerfile内容如下 :
FROM alpine:latest
RUN echo "http://nl.alpinelinux.org/alpine/edge/testing" >> /etc/apk/repositories && apk --update -t addkeepalived iproute2 grep bash tcpdump sed && rm -f /var/cache/apk/* /tmp/*
COPY keepalived.sh /usr/bin/keepalived.sh
COPY keepalived.conf /etc/keepalived/keepalived.confRUN chmod +x /usr/bin/keepalived.sh
ENTRYPOINT ["/usr/bin/keepalived.sh"]
这些自定义配置选项是如何实现的呢?
官方文档告诉我们,是在 rancher-compose文件里来定义。还是以我们的Keepalived服务为例子:
.catalog:
name: "Keepalived for Rancher"
version: 0.1
description: |
Keepalived for Rancher HA-Proxy Loadbalancer
questions:
- variable: "virtual_ip"
type: string
required: true
label: "Virtual Floating IP Address"
description: "Virtual IP address given to the HA-Proxy Cluster"
- variable: "netmask_bit"
type: string
required: true
label: "Netmask Bit"
description: "Network mask bits for the Virtual IP address"default: "16"
- variable: "check_port"
type: string
required: true
label: "Listening port"
description: "The listening port of the HA-Proxy loadbalancer"default: "80"
- variable: "network_interface"
type: string
required: true
label: "Network Interface"
description: "Network Interface of the Virtual Floating IP address (Host NIC)"default: "eno16777984"
在rancher-compse.yml文件的question小节里定义了很多UI对象的属性(例如:变量名、数据类型、是否必选项、标签、描述、默认值等等),而在answers.txt文件中则相应的给出了这些项目的默认值状态。
以实际的Keepalived服务而言,我们可以看见docker-compose.yml文件里定义了四个环境变量 (VIRTUAL_IP、 CHECK_PORT、 INTERFACE、 NETMASK_BIT)以及一个常量VRID:
VIRTUAL_IP: "${virtual_ip}"
CHECK_PORT: "${check_port}"
VRID: 150
INTERFACE: "${network_interface}"NETMASK_BIT: "${netmask_bit}"
以上四个环境变量是可以被容器的shell所直接调用的,例如keepalived.sh脚本中就调用了这四个变量,而这四个变量的具体赋值正是在Catalog制作阶段完成的,其值由rancher-compose.yml文件里的变量进行输出,也就是:
VIRTUAL_IP由virtual_ip传值而来(具体值由用户在 UI 里填写)
CHECK_PORT由check_port传值而来(具体值由用户在 UI 里填写)
INTERFACE由network_interface传值而来(具体值由用户在 UI 里填写)NETMASK_BIT由netmask_bit传值而来(具体值由用户在 UI 里填写)
特别需要注意的是 keepalived.sh 脚本在运行期是需要读取配置文件 keepalived.conf 文件里的参数的,特别是上述这四个参数,那么由于 keepalived.conf 文件必须在 images 生成之前在 Dockerfile 里写好,因此在 Dockerfile 里,它们一定是变量,而在容器运行起来之后,keepalive.sh 运行之前需要把变量赋值,这些值正是用户填写的。我们看一下 keepalived.sh 是如何实现的呢?
通过关键的四句 sed 指令配合正则表达式:
# Substitute variables in config file.
/bin/sed -i "s/{{VIRTUAL_IP}}/${VIRTUAL_IP}/" /etc/keepalived/keepalived.conf
/bin/sed -i "s/{{CHECK_PORT}}/${CHECK_PORT}/" /etc/keepalived/keepalived.conf
/bin/sed -i "s/{{VRID}}/${VRID}/" /etc/keepalived/keepalived.conf
/bin/sed -i "s/{{INTERFACE}}/${INTERFACE}/" /etc/keepalived/keepalived.conf
keepalived.sh脚本成功的将容器运行期的 keepalived.conf配置文件中的变量参数替换为了常量(这个常量由容器的环境变量传递进 Linux Shell 环境)。
这样一个完整的Catalog创建流程包括如何处理环境变量与自定义参数的传递机制就解释清晰了,按照这种思路,我们可以很方便地创建各种不同的应用模板,以实现 Rancher 的一键部署功能。