高可用集群
简介
高可用集群( High Availability Cluster, HA 集群),其中高可用的含义是最大限度地可以使用。从集群的名字上可以看出,此类集群实现的功能是保障用户的应用程序持久、不间断地提供服务。 当应用程序出现故障或者系统硬件、网络出现故障时,应用可以自动、快速从一个节点切换到另一个节点,从而保证应用持续、不间断地对外提供服务,这就是高可用集群实现的功能 .
集群类型
LB:Load Balance 负载均衡
LVS/HAProxy/nginx(http/upstream, stream/upstream)
HA:High Availability 高可用集群
数据库、Redis
SPoF: Single Point of Failure,解决单点故障
HPC:High Performance Computing 高性能集群
系统可用性
SLA:Service-Level Agreement 服务等级协议(提供服务的企业与客户之间就服务的品质、水准、性能 等方面所达成的双方共同认可的协议或契约)
A = MTBF / (MTBF+MTTR)
99.95%:(60*24*30)*(1-0.9995)=21.6分钟 #一般按一个月停机时间统计
指标 :99.9%, 99.99%, 99.999%,99.9999%
系统故障
硬件故障:设计缺陷、wear out(损耗)、非人为不可抗拒因素
软件故障:设计缺陷 bug
实现高可用
提升系统高用性的解决方案:降低MTTR- Mean Time To Repair(平均故障时间)
建立冗余机制
active/passive 主/备
active/active 双主
active --> HEARTBEAT --> passive
active HEARTBEAT active
VRRP:Virtual Router Redundancy Protocol虚拟路由冗余协议
简介
虚拟路由冗余协议VRRP(Virtual Router Redundancy Protocol)是一种用于提高网络可靠性的容错协议。通过VRRP,可以在主机的下一跳设备出现故障时,及时将业务切换到备份设备,从而保障网络通信的连续性和可靠性。
VRRP将多台设备组成一个虚拟设备,通过配置虚拟设备的IP地址为缺省网关,实现缺省网关的备份。当网关设备发生故障时,VRRP机制能够选举新的网关设备承担数据流量,从而保障网络的可靠通信。如下图所示,当Master设备故障时,发往缺省网关的流量将由Backup设备进行转发
VRRP 相关术语
虚拟路由器:Virtual Router
虚拟路由器标识:VRID(0-255),唯一标识虚拟路由器
VIP:Virtual IP
VMAC:Virutal MAC (00-00-5e-00-01-VRID)
物理路由器:
master:主设备
backup:备用设备
priority:优先级
VRRP 相关技术
通告:心跳,优先级等;周期性
工作方式:抢占式,非抢占式
安全认证:
无认证
简单字符认证:预共享密钥
MD5
工作模式:
主/备:单虚拟路由器
主/主:主/备(虚拟路由器1),备/主(虚拟路由器2)
Keepalived部署
简介
Keepalived起初是为LVS设计的,专门用来监控集群系统中各个服务节点的状态,后来有加入VRRP的功能,VRRP出现的目的就是为了解决静态路由器出现的单点故障问题,它能偶保证网络的不间断、稳定的运行。所有,keepalived一方面具有LVS cluster nodes healthchecks功能,另一方面也具有LVS directors faiover功能。
vrrp 协议的软件实现,原生设计目的为了高可用 ipvs服务
官网:http://keepalived.org/
功能:
基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginx、haproxy等服务
Keepalived 架构
用户空间核心组件:
VRRP Stack:负责VRRP消息的通告和处理。
Checkers:负责监测后端服务器的健康状态。
System Call:实现VRRP协议状态转换时调用脚本的功能。
SMTP:邮件组件,用于发送故障转移通知。
IPVS Wrapper:生成IPVS规则,用于负载均衡。
Netlink Reflector:网络接口相关的操作。
WatchDog:监控进程状态,确保Keepalived服务的稳定运行。
控制组件:提供keepalived.conf的解析器。
IO复用器:用于 优化网络通信。、
内存管理组件:为通用的内存管理功能提供 访问权限。
Keepalived 相关文件
软件包名:keepalived
主程序文件:/usr/sbin/keepalived
主配置文件:/etc/keepalived/keepalived.conf
配置文件示例:/usr/share/doc/keepalived/
Unit File:/lib/systemd/system/keepalived.service
Unit File的环境配置文件:/etc/sysconfig/keepalived
Keepalived实验
实验环境
四台RHEL 7.9虚拟机(关闭防火墙、SELinux):
ka1、ka2为keepalived节点,web1、web2为后端真实服务器
Virtual IP | 172.25.254.100/24 |
ka1 | 172.25.254.10/24 |
ka2 | 172.25.254.20/24 |
web1 | 172.25.254.110/24 |
web2 | 172.25.254.120/24 |
全局配置
! Configuration File for keepalived
global_defs {
notification_email {
594233887@qq.com #keepalived 发生故障切换时邮件发送的目标邮箱,可以按行区
分写多个
timiniglee-zln@163.com
}
notification_email_from keepalived@KA1.timinglee.org #发邮件的地址
smtp_server 127.0.0.1 #邮件服务器地址
smtp_connect_timeout 30 #邮件服务器连接timeout
router_id KA1.timinglee.org #每个keepalived主机唯一标识
#建议使用当前主机名,但多节点
重名不影响
vrrp_skip_check_adv_addr #对所有通告报文都检查,会比较消耗性能
#启用此配置后,如果收到的通告报文和上一
个报文是同一 #个路由器,则跳过检查,默认
值为全检查
vrrp_strict #严格遵循vrrp协议
#启用此项后以下状况将无法启动服务:
#1.无VIP地址
#2.配置了单播邻居
#3.在VRRP版本2中有IPv6地址
#建议不加此项配置
vrrp_garp_interval 0 #报文发送延迟,0表示不延迟
vrrp_gna_interval 0 #消息发送延迟
vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围:
}
配置虚拟路由器
vrrp_instance VI_1 {
state MASTER #身份指定
interface eth0 #指定虚拟路由器使用的物理接口,可以和VIP不在一个网卡
virtual_router_id 51 #每个虚拟路由器唯一标识(0-255),同属一个虚拟路由器的 多个keepalived节点的唯一标识需要一致
priority 100 #当前节点在虚拟路由器中的优先级,范围1-254,优先级越高,值越大
advert_int 1 #VRRP通告时间间隔,默认1s
authentication { #认证机制
auth_type AH | PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
auth_pass 1111 #预共享密钥,仅前八位有效,同一虚拟路由器的密钥必须一致
}
virtual_ipaddress { #虚拟IP
192.168.200.16 #绑定VIp,不指定网卡,默认为eth0;注意:不指定掩码默认为32
192.168.254.101/24 dev eth1
192.168.254.102/24 dev eth2 label eth2:1 #label:标记多VIP在同一网卡上的位置
}
}
启用keepalived日志功能
vim /etc/sysconfig/keepalived
独立子配置文件
当生产环境复杂时, /etc/keepalived/keepalived.conf 文件中内容过多,不易管理 将不同集群的配置,
不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含 子配置文件
vim /etc/keepalived/keepalived.conf
实现master/slave的 Keepalived 单主架构
默认抢占模式
MASTER配置
[root@ka1 ~]# yum install -y keepalived
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
1111111111@qq.com
}
notification_email_from keepalived@KA1.timinglee.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id KA1.timinglee.org
vrrp_skip_check_adv_addr
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 20
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:0
}
}
[root@ka1 ~]# systemctl restart keepalived.service
BACKUP配置
[root@ka2 ~]# yum install -y keepalived
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
1111111111@qq.com
}
notification_email_from keepalived@timinglee.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id KA2.timinglee.org
vrrp_skip_check_adv_addr
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 20 #相同id管理同一个虚拟路由
priority 80 #优先级要比MASTER低
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:0
}
}
[root@ka2 ~]# systemctl restart keepalived.service
测试
tcpdump -i eth0 -nn host 224.0.0.18
非抢占模式 nopreempt
默认为抢占模式preempt,即当高优先级的主机恢复在线后,会抢占低先级的主机的master角色, 这样会使vip在KA主机中来回漂移,造成网络抖动,
建议设置为非抢占模式 nopreempt ,即高优先级主机恢复后,并不会抢占低优先级主机的master角色 非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机
ka1(配置完成后重启服务)
ka2(配置完成后重启服务)
抢占延迟模式 preempt_delay
抢占延迟模式,即优先级高的主机恢复后,不会立即抢回VIP,而是延迟一段时间(默认300s)再抢回 VIP
preempt_delay # #指定抢占延迟时间为#s,默认延迟300s
延迟抢占模式需要各节点身份为BACKUP,并且不启用vrrp_strict
ka1
ka2
测试
关闭ka1的keepalived服务,10s后重新启动,等待10sVIP还是会切换到ka1上
VIP单播配置
默认keepalived节点之间使用组播相互通告信息,容易造成网络环境复杂,可以将其替换为单播,减少网络流量
注意:在开启vrrp_strict时,无法启用单播
ka1
ka2
测试
tcpdump -i eth0 -nn src host 192.168.0.10 and dst 192.168.0.20
#在没有VIP的节点上查看;src为拥有VIP的节点,dst为没有VIP的节点
双主架构
配置方式与单主架构相同,其keepalived节点之间互相为主备
ka1为VIP1的MASTER,ka2为BACKUP
ka1为VIP2的BACKUP,ka2为MASTER
通知脚本配置
当keepalived的状态发生变化时,通知脚本命令可以自动触发脚本执行,发送邮件通知管理员
默认以用户keepalived_script身份执行脚本
可以使用以下命令指定执行脚本的用户
global_defs {
script_user
}
通知类型
当前节点获得VIP
notify_master "<path> master"
当前节点转换为备用节点
notify_backup "<path> backup"
当前节点失效
notify_fault "<path> fault"
当前节点停止VRRP
notify_stop "<path> stop"
通用格式
notify "<path>"
创建通知脚本
KA1、KA2配置步骤相同
vim /etc/keepalived/mail.sh
chmod +x /etc/keepalived/mail.sh #提供可执行权限
安装邮件发送工具
yum install -y mailx
在收件邮箱中开启SMTP服务,获得授权密码(163、QQ邮箱均可)
添加mailx配置
vim /etc/mail.rc
echo test | mail -s test 123456@test.com #发送测试邮件
#此时收件的邮箱会收到邮箱
添加自动运行脚本命令
vim /etc/keepalived/keepalived.conf
测试
restart keepalived服务,查看邮箱是否收到邮箱