掌握高可用核心：Keepalived 铸就坚不可摧的集群防线

刘大帅ps

已于 2024-08-14 20:57:10 修改

阅读量777

点赞数 9

文章标签：运维 linux 网络服务器自动化 apache lvs

于 2024-08-14 20:52:11 首次发布

本文链接：https://blog.csdn.net/weixin_64373152/article/details/141199714

版权

2.抢占延迟模式 preempt_delay

4.实现 Keepalived 状态切换的通知脚本

5.同步邮箱的时间

九.实现 master/master 的 Keepalived 双主架构

十.实现IPVS的高可用性

1.报错方法

十一.实现其它应用的高可用性 VRRP Script

1.利用脚本实现主从角色切换

2.实现HAProxy高可用

一.初识keepalived

Keepalived是Linux下一个轻量级别的高可用解决方案，可以实现服务或者网络的高可用。主要是通过虚拟路由冗余来实现高可用，虽然它没有HeartBeat那么强大，但部署和使用非常简单，所有配置只需要一个配置文件即可完成。 Keepalived起初是为LVS设计的，专门用来监控集群系统中各个服务节点的状态，如果某个服务器节点出现故障，Keepalived将检测到后自动将节点从集群系统中剔除，而在故障节点恢复正常后，Keepalived又可以自动将此节点重新加入集群中，这些工作自动完成，不需要人工干预，需要人工完成的只是修复出现故障的节点。

后来又加入了VRRP的功能，VRRP（VritrualRouterRedundancyProtocol,虚拟路由冗余协议)出现的目的是解决静态路由出现的单点故障问题，通过VRRP可以实现网络不间断稳定运行，因此Keepalvied一方面具有服务器状态检测和故障隔离功能，另外一方面也有高可用集群功能健康检查和失败切换是keepalived的两大核心功能健康检查，就是采用tcp三次握手，icmp请求，http请求，udp echo请求等方式对负载均衡器后面的实际的服务器(通常是承载真实业务的服务器)进行保活而失败切换主要是应用于配置了主备模式的服务器，利用VRRP协议维持主备服务器的心跳，当主服务器出现问题时，由备服务器承载对应的业务，从而在最大限度上减少损失，并提供服务的稳定性。

二.VRRP工作模式

1.三种状态

Initialize状态：系统启动后进入initialize状态

Master状态

Backup状态

2.选举机制

抢占模式下，一旦有优先级高的路由器加入，立即成为Master，默认非抢占模式下，只要Master不挂掉，优先级高的路由器只能等待简单点说抢占模式就是，当master宕机后，backup 接管服务。后续当master恢复后，vip漂移到master上，master重新接管服务，多了一次多余的vip切换，而在实际生产中是不需要这样。实际生产中是，当原先的master恢复后，状态变为backup,不接管服务，这是非抢占模式。

接下来分4种情况说明：

1.俩台都为master时，比如server1的优先级大于server2，keepalived启动后server1获得master，server2自动降级为backup。此时server1宕机的话，server2接替服务，当server1恢复后,server1又变为master，重新接管服务，server2变为backup。属于抢占式。

2.server1为master,server2位backup,且master优先级大于backup。keepalived启动后server1获得master，server2为backup。当server1宕机后， server2接管服务。当server1恢复后，server1重新接管服务变为master，而server2变为backup。属于抢占式。

3.server1为master,server2位backup,且master优先级低于backup。keepalived启动后server2获得master，server1为backup。当server2宕机后， server1接管服务。此时server2恢复后抢占服务，获得master，server1降级将为backup。属于抢占式。以上几种，只要级别高就会获取master，与state状态是无关的。

4.server1和server2都为backup。我们要注意启动server服务的启动顺序，先启动的升级为master，与优先级无关。且配置nopreempt项比如server1获得master权限，server2为backup。此时server1宕机后，server2接管服务升级为master。当server1恢复后权限将为backup,不会争抢 server2的master权限，server2将会继续master权限。属于非抢占式

重点：第4种非抢占式俩节点state必须为bakcup,且必须配置nopreempt

注意：这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了 tips：抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP。

三.Keepalived 架构

用户空间核心组件：

vrrp stack：VIP消息通告

checkers：监测real server

system call：实现 vrrp 协议状态转换时调用脚本的功能

SMTP：邮件组件

IPVS wrapper：生成IPVS规则

Netlink Reflector：网络接口

WatchDog：监控进程

控制组件：提供keepalived.conf 的解析器，完成Keepalived配置

IO复用器：针对网络目的而优化的自己的线程抽象

内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

四. Keepalived环境准备

需要四台机子 VIP：172.25.254.100 k1：172.25.254.10 sh vmset.sh eth0 172.25.254.10 k1.rhel7.org k2：172.25.254.20 sh vmset.sh eth0 172.25.254.20 k2.rhel7.org #如果出现网卡的问题，先去对应的目录/etc/sysconfig/network-scripts里面看看有没有多的东西，再看看网卡开了没有nmcli networking；开启：nmcli networking on；最后看看nmcli connection看看挂载情况。

realserver1：172.25.254.110
配置Apache服务
yum install httpd -y
echo realserver1 - 172.25.254.110 > /var/www/html/index.html
systemctl enable --now httpd
realserver2：172.25.254.120
配置Apache服务
yum install httpd -y
echo realserver2 - 172.25.254.120 > /var/www/html/index.html
systemctl enable --now httpd

五.KeepAlived 配置说明

1.配置文件组成部分

配置文件：/etc/keepalived/keepalived.conf

配置文件组成

GLOBAL CONFIGURATION

Global definitions：定义邮件配置，route_id，vrrp配置，多播地址等

VRRP CONFIGURATION VRRP

instance(s)：定义每个vrrp虚拟路由器

LVS CONFIGURATION

Virtual server group(s)

Virtual server(s)： LVS集群的VS和RS

2.配置语法说明：全局配置

! Configuration File for keepalived
global_defs {
	notification_email {
		3511123xxx@qq.com #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
		timiniglee-zln@163.com
	}
	notification_email_from keepalived@KA1.rhel7.org #发邮件的地址
	smtp_server 127.0.0.1 #邮件服务器地址
	smtp_connect_timeout 30 #邮件服务器连接timeout
	router_id KA1.rhel7.org #每个keepalived主机唯一标识；建议使用当前主机名，但多节点重名不影响
	vrrp_skip_check_adv_addr #对所有通告报文都检查，会比较消耗性能；启用此配置后，如果收到的通告报文和上一个报文是同一 #个路由器，则跳过检查，默认值为全检查
	vrrp_strict   			 #严格遵循vrrp协议
							#启用此项后以下状况将无法启动服务:
							#1.无VIP地址
							#2.配置了单播邻居
							#3.在VRRP版本2中有IPv6地址
									#建议不加此项配置
	vrrp_garp_interval 0 			#报文发送延迟，0表示不延迟
	vrrp_gna_interval 0 			#消息发送延迟
	vrrp_mcast_group4 224.0.0.18 	#指定组播IP地址范围：
 }

3.配置虚拟路由器

vrrp_instance VI_1 {
	state MASTER
	interface eth0 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP不在一个网卡
	virtual_router_id 100 #每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一；否则服务无法启动；同属一个虚拟路由器的多个keepalived节点必须相同；务必要确认在同一网络中此值必须唯一
	priority 100 	#当前物理节点在此虚拟路由器的优先级，范围：1-254；值越大优先级越高,每个keepalived主机节点此值不同
	advert_int 1	 #vrrp通告的时间间隔，默认1s
	authentication { 	#认证机制
	auth_type AH|PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
	uth_pass 1111 	#预共享密钥，仅前8位有效；同一个虚拟路由器的多个keepalived节点必须一样
	}
	virtual_ipaddress { 			#虚拟IP,生产环境可能指定上百个IP地址；指定VIP，不指定网卡，默认为eth0,注意：不指定/prefix,默认32
		172.25.254.102/24 dev eth2 label eth0:1
	}
}
测试：tcpdump -i eth0 -nn host 224.0.0.18
#没有指令可以下载：yum install tcpdump -y;关闭KA1后再看组播信息
dropped privs to tcpdump
tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), snapshot length 262144 bytes
22:48:23.294894 IP 172.25.254.10 > 224.0.0.18: VRRPv2, Advertisement, vrid 20,
prio 100, authtype none, intvl 1s, length 20
22:48:24.084793 IP 172.25.254.10 > 224.0.0.18: VRRPv2, Advertisement, vrid 30,
prio 80, authtype none, intvl 1s, length 20

4.启用keepalived日志功能

vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"   #添加内容
vim /etc/rsyslog.conf
.....
# Save boot messages also to boot.log
local7.*                                    /var/log/boot.log
local6.*                               /var/log/keepalived.log
.....   #添加内容
systemctl restart keepalived.service rsyslog.service  #重启
tail -f /var/log/keepalived.log
Aug 12 21:50:55 k1 Keepalived_vrrp[13257]: Sending gratuitous ARP on eth0 for 172.25.254.100
Aug 12 21:50:55 k1 Keepalived_vrrp[13257]: Sending gratuitous ARP on eth0 for 172.25.254.100
Aug 12 21:50:55 k1 Keepalived_vrrp[13257]: Sending gratuitous ARP on eth0 for 172.25.254.100
...

5.实现独立子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件。

[root@K1 ~]# mkdir /etc/keepalived/conf.d
[root@K1 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
3511123xxx@qq.com
}
notification_email_from keepalived@KA1.rhel7.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id KA1.rhel7.org
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
#vrrp_iptables
}
include "/etc/keepalived/conf.d/*.conf" #相关子配置文件
....
[root@K1 ~]# vim /etc/keepalived/conf.d/router.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 20
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
[root@KA1 ~]# systemctl restart keepalived

六.抢占模式和非抢占模式

1.非抢占模式 nopreempt

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，这样会使vip在KA主机中来回漂移，造成网络抖动，建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机；要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP。

#ka1主机配置
vrrp_instance VI_1 {
	state BACKUP
	interface eth0
	virtual_router_id 100
	priority 100 #优先级高
	nopreempt #非抢占模式
	advert_int 1
	authentication {
		auth_type PASS
		auth_pass 1111
	}
	virtual_ipaddress {
		172.25.254.100/24 dev eth0 label eth0:1
	}
}
#KA2主机配置
vrrp_instance VI_1 {
	state BACKUP
	interface eth0
	virtual_router_id 100
	priority 80 #优先级低
	advert_int 1
	nopreempt #非抢占模式
	authentication {
		auth_type PASS
		auth_pass 1111
	}
	virtual_ipaddress {
		172.25.254.100/24 dev eth0 label eth0:1
	}
}

2.抢占延迟模式 preempt_delay

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP

preempt_delay # #指定抢占延迟时间为#s，默认延迟300s

#ka1主机配置
vrrp_instance VI_1 {
	state BACKUP
	interface eth0
	virtual_router_id 100
	priority 100 #优先级高
	preempt_delay 10s #抢占延迟10s
	advert_int 1
	authentication {
		auth_type PASS
		auth_pass 1111
	}
virtual_ipaddress {
		172.25.254.100/24 dev eth0 label eth0:1
	}
}
#KA2主机配置
vrrp_instance VI_1 {
	state BACKUP
	interface eth0
	virtual_router_id 100
	priority 80 #优先级低
	advert_int 1
	preempt_delay 10s #抢占延迟10S
	authentication {
		auth_type PASS
		auth_pass 1111
	}
	virtual_ipaddress {
		172.25.254.100/24 dev eth0 label eth0:1
	}
}

七.IP单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流注意：启用 vrrp_strict 时，不能启用单播注意：启用 vrrp_strict 时，不能启用单播

注意：启用 vrrp_strict 时，不能启用单播注意：启用 vrrp_strict 时，不能启用单播

#在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非使用业务网络
unicast_src_ip <IPADDR> #指定发送单播的源IP
unicast_peer {
<IPADDR> #指定接收单播的对方目标主机IP
......
}
#启用 vrrp_strict 时，不能启用单播,否则服务无法启动,并在messages文件中记录下面信息
Jun 16 17:50:06 centos8 Keepalived_vrrp[23180]: (m44) Strict mode does not
support authentication. Ignoring.
---------------------------实验配置---------------------------
#master 主机配置
[root@K1 ~]# vim /etc/keepalived/keepalived.conf
.....
vrrp_skip_check_adv_addr
#vrrp_strict #注释此参数，与vip单播模式冲突
.......
state MASTER
interface eth0
......
	172.25.254.100/24 dev eth0 label eth0:1
	}
	unicast_src_ip 172.25.254.10 #本机IP
	unicast_peer {
		172.25.254.20 #指向对方主机IP
#如果有多个keepalived,再加其它节点的IP
	}
}
##在BACKUP主机中
[root@K2 ~]# vim /etc/keepalived/keepalived.conf
....
vrrp_skip_check_adv_addr
#vrrp_strict #注释此参数，与vip单播模式冲突
vrrp_garp_interval 0
......
vrrp_instance VI_1 {
state BACKUP
......
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:0
	}
unicast_src_ip 172.25.254.20 #本机ip
unicast_peer {
172.25.254.1  0 #对端主机IP
	}
}
测试:抓包查看单播效果
[root@K1 ~]# tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20
dropped privs to tcpdump
tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), snapshot length 262144 bytes
00:20:16.150917 IP 172.25.254.10 > 172.25.254.20: VRRPv2, Advertisement, vrid 100,
prio 100, authtype simple, intvl 1s, length 20
00:20:17.151569 IP 172.25.254.10 > 172.25.254.20: VRRPv2, Advertisement, vrid 100,
prio 100, authtype simple, intvl 1s, length 20
[root@K2 ~]# tcpdump -i eth0 -nn src 172.25.254.20 and dst 172.25.254.10
dropped privs to tcpdump
tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), snapshot length 262144 bytes
00:20:50.853174 IP 172.25.254.20 > 172.25.254.10: VRRPv2, Advertisement, vrid 100,
prio 80, authtype simple, intvl 1s, length 20
00:20:51.853798 IP 172.25.254.20 > 172.25.254.10: VRRPv2, Advertisement, vrid 100,
prio 80, authtype simple, intvl 1s, length 20

八.Keepalived 通知脚本配置

当keepalived的状态变化时，可以自动触发脚本的执行，比如：发邮件通知用户默认以用户keepalived_script身份执行脚本如果此用户不存在，以root执行脚本可以用下面指令指定脚本执行用户的身份。

1.通知脚本类型

当前节点成为主节点时触发的脚本

notify_master <STRING>|<QUOTED-STRING>

当前节点转为备节点时触发的脚本

notify_backup <STRING>|<QUOTED-STRING>

当前节点转为“失败”状态时触发的脚本

notify_fault <STRING>|<QUOTED-STRING>

通用格式的通知触发机制，一个脚本可完成以上三种状态的转换时的通知

notify <STRING>|<QUOTED-STRING>

当停止VRRP时触发的脚本

notify_stop <STRING>|<QUOTED-STRING>