keepalived详解与配置与应用

皇吾大盾士

于 2024-08-17 17:24:53 发布

阅读量591

点赞数 13

文章标签：网络

本文链接：https://blog.csdn.net/m0_63255850/article/details/141283761

版权

一.高可用集群

1.1 集群类型

LB：Load Balance 负载均衡 LVS/HAProxy/nginx（http/upstream, stream/upstream） HA：High Availability 高可用集群数据库、Redis SPoF: Single Point of Failure，解决单点故障 HPC：High Performance Computing 高性能集群

1.2 系统可用性

SLA：Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能等方面所达成的双方共同认可的协议或契约） A = MTBF / (MTBF+MTTR）

99.95%:(60*24*30)*(1-0.9995)=21.6分钟 #一般按一个月停机时间统计

1.3 系统故障

硬件故障：设计缺陷、wear out（损耗）、非人为不可抗拒因素软件故障：设计缺陷 bug

1.4 实现高可用

提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间) 解决方案：建立冗余机制 active/passive 主/备 active/active 双主 active --> HEARTBEAT --> passive active <--> HEARTBEAT <--> active

1.5.VRRP：Virtual Router Redundancy Protocol

虚拟路由冗余协议,解决静态网关单点风险物理层:路由器、三层交换机软件层:keepalived

1.5.1 VRRP 相关术语

虚拟路由器：Virtual Router 虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器 VIP：Virtual IP VMAC：Virutal MAC (00-00-5e-00-01-VRID) 物理路由器： master：主设备 backup：备用设备 priority：优先级

1.5.2 VRRP 相关技术

通告：心跳，优先级等；周期性工作方式：抢占式，非抢占式安全认证：无认证简单字符认证：预共享密钥 MD5 工作模式：主/备：单虚拟路由器主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

二.Keepalived 部署

2.1 keepalived 简介

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务官网：Keepalived for Linux 功能：基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则(在配置文件中预先定义) 为ipvs集群的各RS做健康状态检测基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2.2 Keepalived 架构

官方文档： Keepalived User Guide — Keepalived 1.4.3 documentation Keepalived for Linux

用户空间核心组件： vrrp stack：VIP消息通告 checkers：监测real server system call：实现 vrrp 协议状态转换时调用脚本的功能 SMTP：邮件组件 IPVS wrapper：生成IPVS规则 Netlink Reflector：网络接口 WatchDog：监控进程控制组件：提供keepalived.conf 的解析器，完成Keepalived配置 IO复用器：针对网络目的而优化的自己的线程抽象内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

2.3 Keepalived 环境准备

2.4 Keepalived 相关文件软件包名：keepalived 主程序文件：/usr/sbin/keepalived 主配置文件：/etc/keepalived/keepalived.conf 配置文件示例：/usr/share/doc/keepalived/ Unit File：/lib/systemd/system/keepalived.service Unit File的环境配置文件：/etc/sysconfig/keepalived

2.5 Keepalived 安装

安装 keepalived

[root@KA1 ~]# dnf install keepalived -y
[root@KA1 ~]# systemctl start keepalived
[root@KA1 ~]# ps axf | grep keepalived
   2385 pts/0   S+     0:00             \_ grep --color=auto keepalived
   2326 ?       Ss     0:00 /usr/sbin/keepalived -D
   2327 ?       S     0:00 \_ /usr/sbin/keepalived -D

2.6 KeepAlived 配置说明

2.6.1 配置文件组成部分

配置文件：/etc/keepalived/keepalived.conf 配置文件组成 GLOBAL CONFIGURATION Global definitions：定义邮件配置，route_id，vrrp配置，多播地址等 VRRP CONFIGURATION VRRP instance(s)：定义每个vrrp虚拟路由器 LVS CONFIGURATION Virtual server group(s) Virtual server(s)： LVS集群的VS和RS

2.6.2 配置语法说明

man keepalived.conf

2.7全局配置

配置KA1与KA2

[root@KA1 ~]# vim /etc/keepalived/keepalived.conf

**********@qq.com       #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
notification_email_from keepalived@KA1.timinglee.org     #发邮件的地址
smtp_server 127.0.0.1          #邮件服务器地址
smtp_connect_timeout 30        #邮件服务器连接timeout
router_id KA1.timinglee.org    #每个keepalived主机唯一标识   #建议使用当前主机名，但多节点
注意：
vrrp_strict #严格遵循vrrp协议
 #启用此项后以下状况将无法启动服务:
 #1.无VIP地址 
 #2.配置了单播邻居 
 #3.在VRRP版本2中有IPv6地址
 #建议不加此项配置

2.8配置虚拟路由器KA1KA2

[root@KA1 ~]# vim /etc/keepalived/keepalived.conf

注意：virtual_router_id 20      #相同id管理同一个虚拟路由
      priority 80      #低优先级

测试

[root@KA2 ~]# tcpdump -i eth0 -nn host 224.0.0.18

2.9启用keepalived日志功能

[root@KA1 ~]# vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"
[root@ka1 ~]#vim /etc/rsyslog.conf
local6.*                                               /var/log/keepalived.log

重启服务并查看日志

2.6.2.4 实现独立子配置文件当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件格式：

include /path/file

示例

[root@KA1 ~]# mkdir  /etc/keepalived/conf.d
mkdir: 无法创建目录"/etc/keepalived/conf.d": 文件已存在
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf

[root@KA1 ~]# vim /etc/keepalived/keepalived.conf   #进入此文件将vrrp_instance VI_1 {的内容复制到[root@KA1 ~]# vim  /etc/keepalived/conf.d/172.25.254.100.conf                       此文件内

[root@KA1 ~]# vim  /etc/keepalived/conf.d/172.25.254.100.conf

三.Keepalived 企业应用示例

3.1 实现master/slave的 Keepalived 单主架构

3.1.1 MASTER配置

[root@KA1 ~]# vim /etc/keepalived/keepalived.conf

3.1.2 BACKUP配置

#配置文件和master基本一致，只需修改三行
[root@KA2 ~]# vim /etc/keepalived/keepalived.conf

注意

 #vrrp_strict             #添加此选项无法访问vip，可以用nft list ruleset查看

抓包观察

tcpdump -i eth0 -nn host 224.0.0.18

3.2 抢占模式和非抢占模式

3.2.1 非抢占模式 nopreempt

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，这样会使vip在KA主机中来回漂移，造成网络抖动，建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机

注意：要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP

KA1

KA2

3.2.2 抢占延迟模式 preempt_delay

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP

preempt_delay #     #指定抢占延迟时间为#s，默认延迟300s

#ka1主机配置

#KA2主机配置

3.3 VIP单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量

注意：启用 vrrp_strict 时，不能启用单播

 #vrrp_strict            #注释此参数，与vip单播模式冲突

抓包查看单播效果

[root@KA1 ~]# tcpdump -i eth0 -nn src host 172.25.254.20 and dst 172.25.254.30

3.4 Keepalived 通知脚本配置

当keepalived的状态变化时，可以自动触发脚本的执行，比如：发邮件通知用户默认以用户keepalived_script身份执行脚本如果此用户不存在，以root执行脚本可以用下面指令指定脚本执行用户的身份

global_defs {
 ......
 script_user <USER>
 ......
}

3.4.1 通知脚本类型

当前节点成为主节点时触发的脚本

当前节点成为主节点时触发的脚本
notify_master <STRING>|<QUOTED-STRING>
当前节点转为备节点时触发的脚本
notify_backup <STRING>|<QUOTED-STRING>
当前节点转为“失败”状态时触发的脚本
notify_fault <STRING>|<QUOTED-STRING>
通用格式的通知触发机制，一个脚本可完成以上三种状态的转换时的通知
notify <STRING>|<QUOTED-STRING>
当停止VRRP时触发的脚本
notify_stop <STRING>|<QUOTED-STRING>

3.4.2 脚本的调用方法

在 vrrp_instance VI_1 语句块的末尾加下面行

notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"

3.4.3 创建通知脚本

[root@KA1 ~]# vim /etc/keepalived/mail.sh

3.4.4 邮件配置

安装邮件发送工具

[root@KA2 ~]# dnf install mailx -y

QQ邮箱配置

[root@KA1 ~]# vim /etc/mail.rc

发送测试邮件

[root@KA1 ~]# echo test message |mail -s test 3205936574@qq.com

3.4.5 实战案例：实现 Keepalived 状态切换的通知脚本

#在所有 keepalived节点配置如下
[root@KA1 + KA2 ~]# vim /etc/keepalived/mail.sh

[root@KA1 +KA2 ~]# chmod +x /etc/keepalived/mail.sh

#模拟master故障
[root@ka1-centos8 ~]#killall keepalived
在浏览器中观察邮件即可

3.5 实现 master/master 的 Keepalived 双主架构

master/slave的单主架构，同一时间只有一个Keepalived对外提供服务，此主机繁忙，而另一台主机却很空闲，利用率低下，可以使用master/master的双主架构，解决此问题。 master/master 的双主架构：即将两个或以上VIP分别运行在不同的keepalived服务器，以实现服务器并行提供web访问的目的，提高服务器资源利用率

#ha1主机配置
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf

#ka2主机配置,和ka1配置只需五行不同
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf

3.6 实现IPVS的高可用性

3.6.1 IPVS相关配置

3.6.1.1 虚拟服务器配置结构

virtual_server IP port {
   ...
 real_server {
 ...
 }
 real_server {
 ...
 }
 …
}

3.6.1.2 virtual server （虚拟服务器）的定义格式

virtual_server IP port     #定义虚拟主机IP地址及其端口
virtual_server fwmark int #ipvs的防火墙打标，实现基于防火墙的负载均衡集群
virtual_server group string #使用虚拟服务器组

3.6.1.3 虚拟服务器配置

virtual_server IP port { #VIP和PORT
 delay_loop <INT> #检查后端服务器的时间间隔
 lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法
 lb_kind NAT|DR|TUN #集群的类型,注意要大写
 persistence_timeout <INT> #持久连接时长
 protocol TCP|UDP|SCTP #指定服务协议,一般为TCP
 sorry_server <IPADDR> <PORT> #所有RS故障时，备用服务器地址
 real_server <IPADDR> <PORT> {          #RS的IP和PORT
 weight <INT>   #RS权重
 notify_up <STRING>|<QUOTED-STRING>   #RS上线通知脚本
 notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本
 HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状
态检测方法
 }
}
#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错

3.6.1.4 应用层监测应用层检测：HTTP_GET|SSL_GET

HTTP_GET|SSL_GET {
 url {
   path <URL_PATH> #定义要监控的URL
   status_code <INT> #判断上述检测机制为健康状态的响应码，一般为 200
 }
 connect_timeout <INTEGER> #客户端请求的超时时长, 相当于haproxy的timeout server
 nb_get_retry <INT> #重试次数
 delay_before_retry <INT> #重试之前的延迟时长
 connect_ip <IP ADDRESS> #向当前RS哪个IP地址发起健康状态检测请求
 connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求
 bindto <IP ADDRESS> #向当前RS发出健康状态检测请求时使用的源地址
 bind_port <PORT> #向当前RS发出健康状态检测请求时使用的源端口
}

3.6.1.5 TCP监测

传输层检测：TCP_CHECK

TCP_CHECK {
     connect_ip <IP ADDRESS> #向当前RS的哪个IP地址发起健康状态检测请求
     connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求
     bindto <IP ADDRESS> #发出健康状态检测请求时使用的源地址
     bind_port <PORT> #发出健康状态检测请求时使用的源端口
     connect_timeout <INTEGER> #客户端请求的超时时长
     #等于haproxy的timeout server   
}

四.实战案例

实现单主的 LVS-DR 模式

准备web服务器并使用脚本绑定VIP至web服务器lo网卡

#准备两台后端RS主机

#准备两台后端RS主机
[root@rs1 ~]# yum install httpd -y
[root@rs1 ~]# echo RS1 - 172.25.254.110 > /var/www/html/index.html
[root@rs1 ~]# ip addr add 172.25.254.100/32 dev lo
[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@rs1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@rs2 ~]# yum install httpd -y
[root@rs2 ~]# echo RS2 - 172.25.254.120 > /var/www/html/index.html
[root@rs2 ~]# ip addr add 172.25.254.100/32 dev lo
[root@rs2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@rs2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@rs2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

#ka1节点的配置
[root@rhel7-ka1 ~]# vim /etc/keepalived/keepalived.conf

#ka2节点的配置，配置和ka1基本相同，只需修改三行
[root@rhel7-ka2 ~]# vim /etc/keepalived/keepalived.conf

lvs策略

模拟故障

#第一台RS1故障，自动切换至RS2
[root@rs1 ~]# systemctl stop httpd #当RS1故障
[Administrator.WIN-20240602BIS] ➤ for i in {1..6}; do curl 172.25.254.100; done 
#全部流浪被定向到RS2中
RS2 - 172.25.254.102
RS2 - 172.25.254.102
RS2 - 172.25.254.102
RS2 - 172.25.254.102

五.实现其它应用的高可用性 VRRP Script

keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先动态调整，从而实现其它应用的高可用性功能参考配置文件：/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck

5.1 VRRP Script 配置

分两步实现：定义脚本 vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减至低于SLAVE节点，从而实现 VIP 切换到 SLAVE 节点

vrrp_script <SCRIPT_NAME> {
 script <STRING>|<QUOTED-STRING>   #此脚本返回值为非0时，会触发下面OPTIONS执行
 OPTIONS 
}

调用脚本 track_script：调用vrrp_script定义的脚本去监控资源，定义在VRRP实例之内，调用事先定义的 vrrp_script

track_script {
 SCRIPT_NAME_1
 SCRIPT_NAME_2
}

5.2 定义 VRRP script

vrrp_script <SCRIPT_NAME> { #定义一个检测脚本，在global_defs 之外配置
     script <STRING>|<QUOTED-STRING> #shell命令或脚本路径
     interval <INTEGER> #间隔时间，单位为秒，默认1秒
     timeout <INTEGER> #超时时间
     weight <INTEGER:-254..254> #默认为0,如果设置此值为负数，
     #当上面脚本返回值为非0时
     #会将此值与本节点权重相加可以降低本节点权重， 
#即表示fall. 
     #如果是正数，当脚本返回值为0，
     #会将此值与本节点权重相加可以提高本节点权重
     #即表示 rise.通常使用负值
     
     fall <INTEGER>       #执行脚本连续几次都失败,则转换为失败，建议设为2以上
     rise <INTEGER>       #执行脚本连续几次都成功，把服务器从失败标记为成功
     user USERNAME [GROUPNAME] #执行监测脚本的用户或组
     init_fail         #设置默认标记为失败状态，监测成功之后再转换为成功状态
}

5.3调用 VRRP script

vrrp_instance test {
... ...
 track_script {
 check_down
 }
}

4实战案例：利用脚本实现主从角色切换

[root@ka1 ~]# vim /mnt/check_lee.sh

[root@ka1 ~]# chmod +x /mnt/check_lee.sh

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf

[root@KA2 ~]# vim /etc/keepalived/keepalived.conf

[root@rhel7-ka1 ~]# touch /mnt/lee
[root@rhel7-ka1 ~]# tail -f /var/log/messages

5.4实战案例：实现HAProxy高可用

#在两个ka1和ka2先实现haproxy的配置
[root@ka1 & ka2 ~]# vim /etc/haproxy/haproxy.cfg

#在两个ka1和ka2两个节点启用内核参数
[root@ka1 & ka2 ~]# vim /etc/sysctl.conf

#在ka1中编写检测脚本
[root@ka1 ~]# vim /etc/keepalived/scripts/test.sh

[root@KA1 ~]# chmod +x /etc/keepalived/test.sh

#在ka1中配置keepalived
[root@ka1 ~]#cat /etc/keepalived/keepalived.conf

#测试
root@ka1 ~]# systemctl stop haproxy.service

皇吾大盾士

关注

13
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
keepalived详解与配置与应用

功能：基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则(在配置文件中预先定义) 为ipvs集群的各RS做健康状态检测基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务virtual_server IP port #定义虚拟主机IP地址及其端口virtual_server fwmark int #ipvs的防火墙打标，实现基于防火墙的负载均衡集群virtual_server group string #使用虚拟服务器组。
复制链接

扫一扫