目录
在当今数字化的时代,各种网络服务和应用对于可用性的要求越来越高。企业和组织依赖于关键业务系统的持续运行,以满足用户的需求和保障业务的正常开展。
随着业务的增长和系统的复杂度增加,单点故障成为了一个严重的问题。如果单个服务器出现故障,可能会导致服务中断,给用户带来不良体验,甚至造成经济损失。
在这种情况下,为了提高系统的可靠性和可用性,避免单点故障对业务的影响,高可用集群的概念应运而生。
传统的解决方案可能存在一些局限性,例如配置复杂、切换速度慢、缺乏有效的监控和自动切换机制等。
Keepalived 作为一种高可用解决方案,旨在提供一种相对简单、高效且可靠的方式来构建高可用集群。它利用了虚拟路由器冗余协议(VRRP)的特性,能够快速检测主服务器的故障,并自动将服务切换到备份服务器上。
一、KEEPALIVED高可用集群简介
1、Keepalived 高可用集群的工作原理
Keepalived 主要是通过虚拟路由器冗余协议(VRRP)来实现高可用的。VRRP 会在一组服务器中选举出一个主服务器(Master)和多个备份服务器(Backup)。
主服务器会定时向网络中发送心跳信息,告知其他备份服务器自己的存活状态。如果备份服务器在一定时间内没有收到主服务器的心跳信息,就会认为主服务器出现故障,并通过选举机制将自己提升为主服务器,接管主服务器的工作,以保证服务的连续性。
2、Keepalived 高可用集群的作用
故障切换:
当主服务器出现故障时,能够快速将服务切换到备份服务器上,减少服务中断的时间,提高系统的可用性。例如,在一个 Web 服务器集群中,如果主服务器宕机,Keepalived 可以迅速将流量导向备份服务器,确保用户仍然能够正常访问网站。
负载均衡:
可以配合其他负载均衡工具,实现更高效的负载均衡策略。比如,将请求均匀地分配到多个服务器上,提高系统的整体性能和处理能力。
网络地址转换(NAT):
Keepalived 可以用于实现 NAT 功能,使得内部网络能够通过一个公共 IP 地址访问外部网络。
监控功能:
能够监控服务器的各种状态指标,如网络连接、服务进程等,及时发现潜在的问题并采取相应的措施。
二、KEEPALIVED部署
基于RHEL7的环境搭建
1、网络配置
[root@ka1 ~]# vmset.sh eth0 172.25.254.10 KA1.mlh.org
[root@ka2 ~]# vmset.sh eth0 172.25.254.20 KA2.mlh.org
[root@realserver1 ~]# vmset.sh eth0 172.25.254.110 realserver.mlh.org
[root@realserver2 ~]# vmset.sh eth0 172.25.254.120 realserver.mlh.org
2、软件安装与启动
[root@ka1 ~]# yum install keepalived -y
[root@ka2 ~]# yum install keepalived -y
[root@realserver1 ~]# yum install httpd -y
[root@realserver2 ~]# yum install httpd -y
#输入内容
[root@realserver1 ~]# echo 172.25.254.110 > /var/www/html/index.html
[root@realserver2 ~]# echo 172.25.254.120 > /var/www/html/index.html
#启动服务
[root@realserver1 ~]# systemctl enable --now httpd
[root@realserver2 ~]# systemctl enable --now httpd
3、配置虚拟路由器
#KA1
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
#配置内容
global_defs {
notification_email {
3182678072@qq.com #keepalived 发生故障切换时邮件发送的目标邮箱,可以按行区分写多个
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from keepalived@mlh.org #发邮件的地址
smtp_server 127.0.0.1 #邮件服务器地址
smtp_connect_timeout 30 #邮件服务器连接timeout
router_id ka1.mlh.org #每个keepalived主机唯一标识
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0 #报文发送延迟,0表示不延迟
vrrp_gna_interval 0 #消息发送延迟
vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范
}
vrrp_instance VI_1 {
state MASTER
interface eth0 #绑定为当前虚拟路由器使用的物理接口,如:eth0,可以和VIP不在一个网卡
virtual_router_id 100 #每个虚拟路由器惟一标识,范围:0-255,每个虚拟路由器此值必须唯一,否则服务无法启动,同属一个虚拟路由器的多个keepalived节点必须相同,务必要确认在同一网络中此值必须唯一
priority 100 #当前物理节点在此虚拟路由器的优先级,范围:1-254
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
} #指定VIP、网卡
#KA2
[root@ka1 ~]# scp /etc/keepalived/keepalived.conf root@172.25.254.20:/etc/keepalived/keepalived.conf #远程拷贝文件
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
#配置内容
vrrp_instance VI_1 {
state BACKUP #备用设备
interface eth0
virtual_router_id 100
priority 80 #修改优先级
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
4、效果实现
#测试:
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka2 ~]# systemctl restart keepalived.service
[root@ka1 ~]# tcpdump -i eth0 -nn host 224.0.0.18 #监视数据包
效果实现:
KA1down,备用设备up
xxxxxxxxxx [root@ka1 ~]# systemctl stop keepalived.service
此时vip切换到KA2设备
三、启用keepalived日志功能
[root@ka1 ~]# vim /etc/sysconfig/keepalived
#配置内容
KEEPALIVED_OPTIONS="-D -S 6"
[root@ka1 ~]# vim /etc/rsyslog.conf
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka1 ~]# systemctl restart rsyslog.service
[root@ka1 ~]# ll /var/log/keepalived.log
-rw-------. 1 root root 21136 8月 12 13:36 /var/log/keepalived.log
四、KEEPALIVED的几种工作模式
1、KEEPALIVED双主模式
Keepalived 双主模式是一种高可用架构方案。在这种模式下,通常有两台服务器都被配置为主服务器。 其工作原理基于虚拟路由冗余协议(VRRP)。VRRP 会为这两台服务器分配不同的优先级。正常情况下,优先级较高的服务器承担主要的工作负载,同时向网络中发送 VRRP 通告来表明自己的主状态。而另一台优先级较低的服务器则处于备用状态,并监听主服务器的通告。 当主服务器出现故障,无法发送 VRRP 通告时,备用服务器在一段时间后没有收到通告,就会认为主服务器失效,并将自己提升为主服务器,接管工作负载。
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
#配置以下内容实现双主架构
vrrp_instance VI_2 {
state BACKUP
interface eth0
virtual_router_id 200
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
track_script {
check_haproxy
}
}
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 200
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
}
第一台主机KA1对于172.25.254.100这个vip是主设备,对172.25.254.200这个vip是备用设备;
第二台主机KA2对于172.25.254.100这个vip是备用设备,对172.25.254.200这个vip是主设备。
当主机1发生故障时,主机2将会接管工作:
2、非抢占模式
默认为抢占模式preempt,即当高优先级的主机恢复在线后,会抢占低先级的主机的master角色。
这样会使vip在KA主机中来回漂移,造成网络抖动。
建议设置为非抢占模式 nopreempt ,即高优先级主机恢复后,并不会抢占低优先级主机的master角色非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机。
KA1主机配置
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP #要关闭 VIP抢占,必须将各 keepalived 服务器state配置为BACKUP
interface eth0
virtual_router_id 100
priority 100 #优先级高
nopreempt #非抢占模式
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80 #优先级低
advert_int 1
nopreempt #非抢占模式
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
最开始:
高优先级KA1重启后vip会迁移至低优先级KA2,在非抢占模式下并不会因为高优先级重启而抢走vip:
[root@ka1 ~]# systemctl restart keepalived.service
后续也发生down时,仍会将VIP迁移回原主机:
[root@ka2 ~]# systemctl stop keepalived.service
3、抢占延迟模式
抢占延迟模式,即优先级高的主机恢复后,不会立即抢回VIP,而是延迟一段时间(默认300s)再抢回VIP
注意:需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 100
preempt_delay 5s #设置延迟时间
#nopreempt
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
实验效果:
KA1重启前后五秒vip的变化:
五、实现独立子配置文件
当生产环境复杂时, /etc/keepalived/keepalived.conf 文件中内容过多,不易管理。
将不同集群的配置,比如:不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件。
[root@KA1 ~]# mkdir /etc/keepalived/conf.d
[root@ka1 ~]# vim /etc/keepalived/conf.d/172.25.254.100.conf
#配置内容
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
#KA2同理
六、VIP单播配置
默认keepalived主机之间利用多播相互通告消息,会造成网络拥塞,可以替换成单播,减少网络流量
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
#preempt_delay 5s
#nopreempt
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
}
#KA2配置同理
[root@ka1 log]# tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20
七、keepalived邮件通知脚本配置
1、邮件配置
root@KA1 ~]# yum install mailx -y
[root@KA2 ~]# yum install mailx -y
QQ邮箱配置:
打开QQ邮箱网页》账号与安全》安全设置》生成授权码 ****************
[root@ka1 log]# vim /etc/mail.rc
#在末行插入以下内容
set from=3182678***@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=3182678***@qq.com
set smtp-auth-password=hswuuangiqjndcfa
set smtp-auth=login
set ssl-verify=ignore
#KA2配置同理
测试:
[root@ka1 log]# echo test messages | mail -S test 3182678***@qq.com
2、通知脚本配置
[root@ka1 log]# vim /etc/keepalived/mail.sh
#配置内容
#!/bin/bash
mail_dest='3182678***@qq.com'
mail_send()
{
mail_subj="$HOSTNAME to be $1 vip remove"
mail_mess="`date +%F\ %T`:vrrp remove,$HOSTNAME change $1"
echo "$mail_mess" | mail -s "$mali_subj" $mail_dest
}
case $1 in
master)
mail_send master
;;
backup)
mail_send backup
;;
fault)
mail_send fault
;;
*)
exit 1
;;
esac
[root@ka1 log]# chmod +x /etc/keepalived/mail.sh
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
KA2配置同上
重启keepalived服务得到两个邮件:
八、Keepalived- IPVS设定
在 Keepalived + LVS 双主模式的 DR(Direct Routing,直接路由)模式中,实现过程包括以下关键步骤: 首先,配置 LVS 负载均衡器,指定其为 DR 模式,并设置相关的调度算法和真实服务器列表。 然后,在每台真实服务器上配置相关的网络参数,包括 VIP(Virtual IP,虚拟 IP)等。 接下来,配置 Keepalived,使其能够监控 LVS 负载均衡器的状态,并在出现故障时进行切换。 工作原理如下: 客户端向 VIP 发送请求。 LVS 负载均衡器接收到请求后,根据预先配置的调度算法,选择一台合适的真实服务器。 由于是 DR 模式,负载均衡器通过修改数据包的 MAC 地址,将请求直接发送到选定的真实服务器。 真实服务器接收到请求后,发现目的 MAC 地址是自己的,会处理请求。处理完成后,直接将响应数据包返回给客户端,而不再经过负载均衡器。 在双主模式下,有两台 LVS 负载均衡器都处于活动状态,同时工作并分担负载。 Keepalived 会不断监控两台负载均衡器的健康状态。如果其中一台出现故障,Keepalived 会迅速进行切换,将其从服务中移除,确保服务的连续性。
虚拟服务器配置参数
virtual_server IP port { #VIP和PORT
delay_loop <INT> #检查后端服务器的时间间隔
lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法
lb_kind NAT|DR|TUN #集群的类型,注意要大写
persistence_timeout <INT> #持久连接时长
protocol TCP|UDP|SCTP #指定服务协议,一般为TCP
sorry_server <IPADDR> <PORT> #所有RS故障时,备用服务器地址
real_server <IPADDR> <PORT> { #RS的IP和PORT
weight <INT> #RS权重
notify_up <STRING>|<QUOTED-STRING> #RS上线通知脚本
notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本
HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状
态检测方法
}
}
应用层监测
HTTP_GET|SSL_GET {
url {
path <URL_PATH> #定义要监控的URL
status_code <INT> #判断上述检测机制为健康状态的响应码,一般为 200
}
connect_timeout <INTEGER> #客户端请求的超时时长, 相当于haproxy的timeout server
nb_get_retry <INT> #重试次数
delay_before_retry <INT> #重试之前的延迟时长
connect_ip <IP ADDRESS> #向当前RS哪个IP地址发起健康状态检测请求
connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS> #向当前RS发出健康状态检测请求时使用的源地址
bind_port <PORT> #向当前RS发出健康状态检测请求时使用的源端口
}
TCP监测
TCP_CHECK {
connect_ip <IP ADDRESS> #向当前RS的哪个IP地址发起健康状态检测请求
connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS> #发出健康状态检测请求时使用的源地址
bind_port <PORT> #发出健康状态检测请求时使用的源端口
connect_timeout <INTEGER> #客户端请求的超时时长
#等于haproxy的timeout server
}
准备web服务器并设置VIP至web服务器lo网卡
[root@realserver1 ~]# yum install httpd -y
[root@realserver2 ~]# yum install httpd -y
[root@realserver1 ~]# ip a a 172.25.254.100/32 dev lo
[root@realserver2 ~]# ip a a 172.25.254.100/32 dev lo
解决vip响应问题
[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf
[root@realserver2 ~]# vim /etc/sysctl.d/arp.conf
#配置内容
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2
sysctl --system #检测配置是否生效
安装ipvsadm软件观察路由策略
[root@ka1 ~]# yum install ipvsadm -y
[root@ka2 ~]# yum install ipvsadm -y
虚拟主机配置
virtual_server 172.25.254.100 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 172.25.254.110 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
real_server 172.25.254.120 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
}
#两台虚拟主机均要配置
通过ipvsadm工具可以发现,重启主机后加载keepalived服务路由策略可以自动加载出来:
当断掉一台后端服务器时,在虚拟服务器主机可以发现其路由策略消失,但不影响访问:
九、keepalived-vrrp脚本编写
vrrp_script <SCRIPT_NAME> { #定义一个检测脚本,在global_defs 之外配置
script <STRING>|<QUOTED-STRING> #shell命令或脚本路径
interval <INTEGER> #间隔时间,单位为秒,默认1秒
timeout <INTEGER> #超时时间
weight <INTEGER:-254..254> #默认为0,如果设置此值为负数,
#当上面脚本返回值为非0时
#会将此值与本节点权重相加可以降低本节点权重,
#即表示fall.
#如果是正数,当脚本返回值为0,
#会将此值与本节点权重相加可以提高本节点权重
#即表示 rise.通常使用负值
fall <INTEGER> #执行脚本连续几次都失败,则转换为失败,建议设为2以上
rise <INTEGER> #执行脚本连续几次都成功,把服务器从失败标记为成功
user USERNAME [GROUPNAME] #执行监测脚本的用户或组
init_fail #设置默认标记为失败状态,监测成功之后再转换为成功状态
}
脚本编写
[root@ka1 ~]# vim /etc/keepalived/test.sh
#!bin/bash
[ ! -f "/mnt/mlh" ]
[root@ka1 ~]# chmod +x /etc/keepalived/test.sh
[root@ka1 ~]# sh /etc/keepalived/test.sh
[root@ka1 ~]# echo $?
1
定义脚本
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_script check_file {
script "/etc/keepalived/test.sh"
interval 1
weight -30
fall 2
rise 2
timeout 2
}
调用脚本
vrrp_instance VI_1 {
... ...
track_script {
check_file
}
}
脚本执行结果为0,说明weight值不生效,优先级恢复为100,则vip迁回
十、keepalived+haproxy的高可用集群
Keepalived + HAProxy 双主模式下的高可用集群工作原理 在 Keepalived + HAProxy 双主模式的高可用集群中,工作原理基于以下几个关键部分: HAProxy 的负载均衡功能 HAProxy 负责接收客户端的请求,并根据预设的负载均衡策略将请求分发到后端的真实服务器。 例如,它可以基于轮询、加权轮询、最少连接等算法来分配请求,以实现高效的资源利用和性能优化。 Keepalived 的高可用机制 Keepalived 基于 VRRP 协议来实现高可用性。在双主模式下,有两台服务器都被配置为主节点,它们各自拥有一个虚拟 IP(VIP)。 正常情况下,两个主节点都在工作,同时向网络中发送 VRRP 通告来表明自己的状态。 故障检测与切换 当其中一台主节点出现故障,例如网络中断、HAProxy 服务停止等,它无法继续发送 VRRP 通告。 另一台主节点在一段时间内没有收到故障节点的通告后,会认为其失效,并接管故障节点的 VIP,从而继续提供服务,确保服务的连续性。
实验环境:在keepalived-ipvs环境下更改配置:
删除后端服务器vip
[root@realserver1 ~]# ip a d 172.25.254.100/32 dev lo
[root@realserver2 ~]# ip a d 172.25.254.100/32 dev lo
arp响应
[root@realserver1 & realserver2 ~]# vim /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_ignore=0
net.ipv4.conf.all.arp_announce=0
net.ipv4.conf.lo.arp_ignore=0
net.ipv4.conf.lo.arp_announce=0
软件安装
[root@ka1 ~]# yum install haproxy -y
[root@ka2 ~]# yum install haproxy -y
在两个ka1和ka2两个节点启用内核参数
[root@ka1 & ka2 ~]# vim /etc/sysctl.conf
net.ipv4.ip_nonlocal_bind = 1
[root@ka1 & ka2 ~]# sysctl -p
在虚拟服务器进行haproxy配置
[root@ka1 & ka2 ~]# vim /etc/haproxy/haproxy.cfg
#在文件末行配置以下内容
listen webcluster
bind 172.25.254.100:80
mode http
balance roundrobin
server web1 172.25.254.110:80 check inter 3 fall 2 rise 5
server web2 172.25.254.120:80 check inter 3 fall 2 rise 5
在ka1中编写检测脚本,当vip主机down时,脚本检测将vip漂移至另外一台主机
[root@ka1 & ka2 ~]# vim /etc/keepalived/haproxy.sh
#!/bin/bash
killall -0 haproxy
[root@ka1 & ka2 ~]# chmod +X /etc/keepalived/haproxy.sh
修改虚拟服务器keepalived配置文件
测试:
当虚拟主机断开后,后端依旧能提供访问
当虚拟服务器再次启动时,vip返回