一.高可用集群
1.1 集群类型
LB
：
Load Balance
负载均衡
LVS/HAProxy/nginx
（
http/upstream, stream/upstream
）
HA
：
High Availability
高可用集群
数据库、
Redis
SPoF: Single Point of Failure
，解决单点故障
HPC
：
High Performance Computing
高性能集群
1.2 系统可用性
SLA
：
Service-Level Agreement
服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能
等方面所达成的双方共同认可的协议或契约）
A = MTBF / (MTBF+MTTR
）
99.95%:(60*24*30)*(1-0.9995)=21.6
分钟
#
一般按一个月停机时间统计
指标 ：
99.9%, 99.99%, 99.999%,99.9999%
1.3 系统故障
硬件故障：设计缺陷、
wear out
（损耗）、非人为不可抗拒因素
软件故障：设计缺陷
bug
1.4 实现高可用
提升系统高用性的解决方案：降低
MTTR- Mean Time To Repair(
平均故障时间
)
解决方案：建立冗余机制
active/passive
主
/
备
active/active
双主
active --> HEARTBEAT --> passive
active <--> HEARTBEAT <--> active
1.5.VRRP：Virtual Router Redundancy Protocol
虚拟路由冗余协议
,
解决静态网关单点风险
物理层
:
路由器、三层交换机
软件层
:keepalived
1.5.1 VRRP 相关术语
虚拟路由器：
Virtual Router
虚拟路由器标识：
VRID(0-255)
，唯一标识虚拟路由器
VIP
：
Virtual IP
VMAC
：
Virutal MAC (00-00-5e-00-01-VRID)
物理路由器：
master
：主设备
backup
：备用设备
priority
：优先级
1.5.2 VRRP 相关技术
通告：心跳，优先级等；周期性
工作方式：抢占式，非抢占式
安全认证：
无认证
简单字符认证：预共享密钥
MD5
工作模式：
主
/
备：单虚拟路由器
主
/
主：主
/
备（虚拟路由器
1
），备
/
主（虚拟路由器
2
）
二.Keepalived 部署
keepalived 简介
vrrp
协议的软件实现，原生设计目的为了高可用
ipvs
服务
官网：
http://keepalived.org/
功能：
基于
vrrp
协议完成地址流动
为
vip
地址所在的节点生成
ipvs
规则
(
在配置文件中预先定义
)
为
ipvs
集群的各
RS
做健康状态检测
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持
nginx
、
haproxy
等服务
Keepalived 相关文件
软件包名：
keepalived
主程序文件：
/usr/sbin/keepalived
主配置文件：
/etc/keepalived/keepalived.conf
配置文件示例：
/usr/share/doc/keepalived/
Unit File
：
/lib/systemd/system/keepalived.service
Unit File
的环境配置文件：
/etc/sysconfig/keepalived
环境搭建
下载k8s服务：[root@k8s ~]# yum install keepalived -y
主配置文件路径：
2.6 KeepAlived 配置说明
2.6.1 配置文件组成部分
配置文件：
/etc/keepalived/keepalived.conf
配置文件组成
GLOBAL CONFIGURATION
Global definitions
： 定义邮件配置，
route_id
，
vrrp
配置，多播地址等
VRRP CONFIGURATION
VRRP instance(s)
：
定义每个
vrrp
虚拟路由器
LVS CONFIGURATION
Virtual server group(s)
Virtual server(s)
：
LVS
集群的
VS
和
RS
! Configuration File for keepalived
global_defs {
notification_email {
594233887@qq.com #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区
分写多个
timiniglee-zln@163.com
}
notification_email_from keepalived@KA1.timinglee.org #发邮件的地址
smtp_server 127.0.0.1 #邮件服务器地址
smtp_connect_timeout 30 #邮件服务器连接timeout
router_id KA1.timinglee.org #每个keepalived主机唯一标识
#建议使用当前主机名，但多节点重名不影响
vrrp_skip_check_adv_addr #对所有通告报文都检查，会比较消耗性能
#启用此配置后，如果收到的通告报文和上一个报文是同一 #个路由器，则 跳过检查，默认值为全检查
vrrp_strict #严格遵循vrrp协议
#启用此项后以下状况将无法启动服务:
#1.无VIP地址
#2.配置了单播邻居
#3.在VRRP版本2中有IPv6地址
#建议不加此项配置
vrrp_garp_interval 0 #报文发送延迟，0表示不延迟
vrrp_gna_interval 0 #消息发送延迟
vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围：
}
2.6.2.2 配置虚拟路由器
vrrp_instance VI_1 {
state MASTER
interface eth0 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP个网卡
virtual_router_id 51 #每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一
#否则服务无法启动
#同属一个虚拟路由器的多个keepalived节点必须相同
#务必要确认在同一网络中此值必须唯一
priority 100 #当前物理节点在此虚拟路由器的优先级，范围：1-254
#值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1 #vrrp通告的时间间隔，默认1s
authentication { #认证机制
auth_type AH|PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
uth_pass 1111 #预共享密钥，仅前8位有效
#同一个虚拟路由器的多个keepalived节点必须一样
}
virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
172.25.254.100 #指定VIP，不指定网卡，默认为eth0,注意：不指定/prefix,默认32
172.25.254.101/24 dev eth1
172.25.254.102/24 dev eth2 label eth2:1
}
}
测试结果。
备用设备配置：
测试结果：
最终测试结果：
2.6.2.3 启用keepalived日志功能
[root@KA1 ~]# vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"
[root@ka1 ~]#vim /etc/rsyslog.conf
local6.* /var/log/keepalived.log
[root@ka1 ~]#systemctl restart keepalived.service rsyslog.service
[root@ka1 ~]#tail -f /var/log/keepalived.log[root@k8s ~]# vim /etc/rsyslog.conf
[root@k8s ~]# vim /etc/sysconfig/keepalived
查看日志：
2.6.2.4 实现独立子配置文件
当生产环境复杂时，
/etc/keepalived/keepalived.conf
文件中内容过多，不易管理
将不同集群的配置，比如：不同集群的
VIP
配置放在独立的子配置文件中利用
include
指令可以实现包含
子配置文件
[root@KA1 ~]# mkdir /etc/keepalived/conf.d
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf
[root@KA1 ~]# vim /etc/keepalived/conf.d/router.conf
三.Keepalived 企业应用示例
3.1 实现master/slave的 Keepalived 单主架构
3.2
抢占模式和非抢占模式
3.2.1 非抢占模式 nopreempt
默认为抢占模式
preempt
，即当高优先级的主机恢复在线后，会抢占低先级的主机的
master
角色，
这样会使
vip
在
KA
主机中来回漂移，造成网络抖动，
建议设置为非抢占模式
nopreempt
，即高优先级主机恢复后，并不会抢占低优先级主机的
master
角色
非抢占模块下
,
如果原主机
down
机
, VIP
迁移至的新主机
,
后续也发生
down
时
,
仍会将
VIP
迁移回原主机
注意：要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP
[root@k8s ~]# vim /etc/keepalived/keepalived.conf
测试：
3.2.2 抢占延迟模式 preempt_delay
抢占延迟模式，即优先级高的主机恢复后，不会立即抢回
VIP
，而是延迟一段时间（默认
300s
）再抢回VIP
preempt_delay # #
指定抢占延迟时间为
#s
，默认延迟
300s
[root@k8s ~]# vim /etc/keepalived/keepalived.conf
3.3 VIP单播配置
默认
keepalived
主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量
[root@k8s ~]# vim /etc/keepalived/keepalived.conf
单波测试：
[root@k8s2 ~]# systemctl restart keepalived.service
3.4邮件配置
安装邮件发送工具
[root@KA2 ~]# dnf install mailx -y
[root@KA1 ~]# vim /etc/mail.rc
#######mail set##########
set from=594233887@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=594233887@qq.com
set smtp-auth-password=isjatjwmcxtxbefj
set smtp-auth=login
set ssl-verify=ignore
发送测试邮件
[root@KA1 ~]# echo test message |mail -s test 594233887@qq.com
操作：
获取QQ邮箱服务码。
[root@KA1 ~]# vim /etc/mail.rc
[root@KA1 ~]# echo test message |mail -s test 1961887141@qq.com
3.4.5 实战案例：实现 Keepalived 状态切换的通知脚本
3.5 实现 master/master 的 Keepalived 双主架构
master/slave
的单主架构，同一时间只有一个
Keepalived
对外提供服务，此主机繁忙，而另一台主机却
很空闲，利用率低下，可以使用
master/master
的双主架构，解决此问题。
master/master
的双主架构：
即将两个或以上
VIP
分别运行在不同的
keepalived
服务器，以实现服务器并行提供
web
访问的目的，提高服务器资源利用率
ks1:
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
# preempt_delay 5s
advert_int 1
# nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
track_script {
check_haproxy
}
}
vrrp_instance VI_2 {
state BACKUP
interface eth0
virtual_router_id 200
priority 80
# preempt_delay 5s
advert_int 1
# nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
advert_int 1
# nopreempt
preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
track_script {
check_haproxy
}
}
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 200
priority 100
advert_int 1
# nopreempt
preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
}
ks2:
[root@k8s ~]# vim /etc/keepalived/keepalived.conf
查看结果：
[root@k8s2 ~]# systemctl restart keepalived.service
实战案例：三个节点的三主架构实现
#第一个节点ka1配置：
Vrrp instance 1：MASTER，优先级100
Vrrp instance 2：BACKUP，优先级80
Vrrp instance 3：BACKUP，优先级60
#第二个节点ka2配置：
Vrrp instance 1：BACKUP，优先级60
Vrrp instance 2：MASTER，优先级100
Vrrp instance 3：BACKUP，优先级80
#第三个节点ka3配置：
Vrrp instance 1：BACKUP，优先级80
Vrrp instance 2：BACKUP，优先级60
Vrrp instance 3：MASTER，优先级1003.6 实现IPVS的高可用性
3.6.1 IPVS相关配置
3.6.1.1 虚拟服务器配置结构
virtual_server IP port {
...
real_server {
...
}
real_server {
...
}
…
}3.6.1.2 virtual server （虚拟服务器）的定义格式
virtual_server IP port #定义虚拟主机IP地址及其端口
virtual_server fwmark int #ipvs的防火墙打标，实现基于防火墙的负载均衡集群
virtual_server group string #使用虚拟服务器组3.6.1.3 虚拟服务器配置
virtual_server IP port { #VIP和PORT
delay_loop <INT> #检查后端服务器的时间间隔
lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法
lb_kind NAT|DR|TUN #集群的类型,注意要大写
persistence_timeout <INT> #持久连接时长
protocol TCP|UDP|SCTP #指定服务协议,一般为TCP
sorry_server <IPADDR> <PORT> #所有RS故障时，备用服务器地址
real_server <IPADDR> <PORT> { #RS的IP和PORT
weight <INT> #RS权重
notify_up <STRING>|<QUOTED-STRING> #RS上线通知脚本
notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本
HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状
态检测方法
}
}
#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错3.6.2 实战案例
3.6.2.1 实战案例1：实现单主的 LVS-DR 模式
准备
web
服务器并使用脚本绑定
VIP
至
web
服务器
lo
网卡
#
准备两台后端
RS
主机
net.ipv4.conf.all.arp_ignore = 0
net.ipv4.conf.all.arp_announce = 0
net.ipv4.conf.lo.arp_ignore = 0
net.ipv4.conf.lo.arp_announce = 0
配置
keepalived
[root@k8s ~]# vim /etc/keepalived/keepalived.conf
#########################################ks1
virtual_server 172.25.254.100 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
persistence_timeout 50
protocol TCP
#sorry_server 172.25.254.100 1358
############################################web1
real_server 172.25.254.110 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
##############################################web2
real_server 172.25.254.120 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
###############################################
}
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
####################################################ks2
virtual_server 172.25.254.100 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
#persistence_timeout 50
protocol TCP
#####################################################web1
real_server 172.25.254.110 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
####################################################web2
real_server 172.25.254.120 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
#######################################################
}
测试：
[root@k8s2 ~]# systemctl restart keepalived.service
模拟故障
关闭web服务查看：
k8s和LVS共同实现高可用。测试：
3.7 实现其它应用的高可用性 VRRP Script
keepalived
利用
VRRP Script
技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先
动态调整，从而实现其它应用的高可用性功能
参考配置文件：
/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck
3.7.1 VRRP Script 配置
分两步实现：
定义脚本
vrrp_script
：自定义资源监控脚本，
vrrp
实例根据脚本返回值，公共定义，可被多个实例调用，定
义在
vrrp
实例之外的独立配置块，一般放在
global_defs
设置块之后。
通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对
MASTER
节点的权重减至低于
SLAVE
节点，从而实现
VIP
切换到
SLAVE
节点
vrrp_script <SCRIPT_NAME> {
script <STRING>|<QUOTED-STRING> #此脚本返回值为非0时，会触发下面OPTIONS执行
OPTIONS
}
调用脚本
track_script
：调用
vrrp_script
定义的脚本去监控资源，定义在
VRRP
实例之内，调用事先定义的
vrrp_scrip
track_script {
SCRIPT_NAME_1
SCRIPT_NAME_2
}3.7.1.1 定义 VRRP script
vrrp_script <SCRIPT_NAME> { #定义一个检测脚本，在global_defs 之外配置
script <STRING>|<QUOTED-STRING> #shell命令或脚本路径
interval <INTEGER> #间隔时间，单位为秒，默认1秒
timeout <INTEGER> #超时时间
weight <INTEGER:-254..254> #默认为0,如果设置此值为负数，
#当上面脚本返回值为非0时
#会将此值与本节点权重相加可以降低本节点权重，
#即表示fall.
#如果是正数，当脚本返回值为0，
#会将此值与本节点权重相加可以提高本节点权重
#即表示 rise.通常使用负值
fall <INTEGER> #执行脚本连续几次都失败,则转换为失败，建议设为2上
rise <INTEGER> #执行脚本连续几次都成功，把服务器从失败标记为成功
user USERNAME [GROUPNAME] #执行监测脚本的用户或组
init_fail #设置默认标记为失败状态，监测成功之后再转换为成功状态
}
3.7.1.2
调用
VRRP script
vrrp_instance test {
... ...
track_script {
check_down
}
}3.7.2 实战案例：利用脚本实现主从角色切换
VIP飘到了备份主机上了。
3.7.3 实战案例：实现HAProxy高可用
[root@k8s ~]# yum install haproxy -y
[root@k8s2 ~]# yum install haproxy -y
开启内核路由功能
[root@k8s ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
bind 172.25.254.100:80
mode http
balance roundrobin
server web1 172.25.254.110:80 check inter 3 fall 2 rise 5
server web2 172.25.254.120:80 check inter 3 fall 2 rise 5
KS1和KS2设置一样。
[root@k8s ~]# systemctl restart haproxy.service
[root@k8s ~]# systemctl restart keepalived.service
LVS和haproxy互不兼容。停止LVS设定。
[root@k8s ~]# systemctl restart haproxy.service
[root@k8s ~]# systemctl restart keepalived.service
[root@k8s2 ~]# systemctl restart haproxy.service
[root@k8s2 ~]# systemctl restart keepalived.service
测试K8S和haproxy高可用。
故障测试：
编写检测haproxy服务脚本。
[root@k8s ~]# systemctl stop haproxy.service
扫一扫
219
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
