keepalive最牛强解

Louis@wl

于 2024-08-17 16:05:29 发布

阅读量853

点赞数 29

文章标签：运维云原生云计算

本文链接：https://blog.csdn.net/m0_74725366/article/details/141132013

版权

前言

VRRP 相关技术
通告：心跳，优先级等；周期性
工作方式：抢占式，非抢占式
安全认证：

无认证
简单字符认证：预共享密钥
MD5
工作模式：
主/备：单虚拟路由器
主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

keepalived 简介

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务
官网：http://keepalived.org/

功能：

基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

Keepalived 相关文件
软件包名：keepalived
主程序文件：/usr/sbin/keepalived
主配置文件：/etc/keepalived/keepalived.conf
配置文件示例：/usr/share/doc/keepalived/
Unit File：/lib/systemd/system/keepalived.service
Unit File的环境配置文件：/etc/sysconfig/keepalived

keepalived环境准备

本实验需要四台虚拟机，其中两台做keepalived，另外两台做RS

各节点时间必须同步：ntp, chrony
关闭防火墙及SELinux
各节点之间可通过主机名互相通信：非必须
建议使用/etc/hosts文件实现：非必须
各节点之间的root用户可以基于密钥认证的ssh服务完成互相通信：非必

keepalived安装

[root@ka1 rhel7]# yum install keepalived -y #ka2同理

配置文件说明

配置文件：/etc/keepalived/keepalived.conf
配置文件组成

GLOBAL CONFIGURATION
Global definitions：定义邮件配置，route_id，vrrp配置，多播地址等
VRRP CONFIGURATION
VRRP instance(s)：定义每个vrrp虚拟路由器
LVS CONFIGURATION
Virtual server group(s)
Virtual server(s)： LVS集群的VS和RS

全局配置

global_defs {
   notification_email {
   #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
     acassen@firewall.loc 
     failover@firewall.loc 
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc #发邮件的地址
   smtp_server 192.168.200.1 #邮件服务器的地址
   smtp_connect_timeout 30 #邮件服务器连接timeout
   router_id LVS_DEVEL  #每个keepalived主机唯一标识，建议使用当前主机名，但多节点重名不影响
   vrrp_skip_check_adv_addr #对所有通告报文都检查，会比较消耗性能，启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查
   vrrp_strict #严格遵循vrrp协议
	#启用此项后以下状况将无法启动服务:
	#1.无VIP地址
	#2.配置了单播邻居
	#3.在VRRP版本2中有IPv6地址
	#建议不加此项配置
   vrrp_garp_interval 0 #报文发送延迟，0表示不延迟
   vrrp_gna_interval 0 #消息发送延迟
}

配置虚拟路由器

vrrp_instance VI_1 {
    state MASTER #所处角色(MASTER/BACKUP)
    interface eth0 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP不在一个网卡
    virtual_router_id 51 
#每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一
#否则服务无法启动
#同属一个虚拟路由器的多个keepalived节点必须相同
#务必要确认在同一网络中此值必须唯一
    priority 100
#当前物理节点在此虚拟路由器的优先级，范围：1-254
#值越大优先级越高,每个keepalived主机节点此值不同 
    advert_int 1 #vrrp通告的时间间隔，默认1s
    authentication {
        auth_type PASS #,PASS为简单密码(建议使用)
        auth_pass 1111 #预共享密钥，仅前8位有效，同一个虚拟路由器的多个keepalived节点必须一样
    }
    virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
    <IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
        192.168.200.16  #指定VIP，不指定网卡，默认为eth0,注意：不指定/prefix,默认32
        192.168.200.17
        192.168.200.18
    }
}

示例：

#配置master端
global_defs {
   notification_email {
     2965053519@qq.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id kal.timinglee.org
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 224.0.0.18
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    preempt_delay 5s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
}

#配置slave端
global_defs {
   notification_email {
     2965053519@qq.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id kal.timinglee.org
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 224.0.0.18
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 80
    advert_int 1
    nopreempt
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
}

测试


[root@ka1 rhel7]# tcpdump -i eth0 -nn host 224.0.0.18
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
17:07:51.761270 IP 172.25.254.10 > 224.0.0.18: VRRPv2, Advertisement, vrid 51, prio 100, authtype simple, intvl 1s, length 20
17:07:52.762458 IP 172.25.254.10 > 224.0.0.18: VRRPv2, Advertisement, vrid 51, prio 100, authtype simple, intvl 1s, length 20
17:07:53.763614 IP 172.25.254.10 > 224.0.0.18: VRRPv2, Advertisement, vrid 51, prio 100, authtype simple, intvl 1s, length 20

启用keepalived日志功能

示例

[root@ka1 rhel7]# vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"
[root@ka1 rhel7]# vim /etc/rsyslog.conf
local6.* /var/log/keepalived.log
[root@ka1 ~]#systemctl restart keepalived.service rsyslog.service
[root@ka1 rhel7]# tail  -f /var/log/keepalived.log
Aug 12 17:07:51 ka1 Keepalived_healthcheckers[1976]: Adding sorry server [192.168.200.200]:1358 to VS [10.10.10.2]:1358
Aug 12 17:07:51 ka1 Keepalived_healthcheckers[1976]: Removing alive servers from the pool for VS [10.10.10.2]:1358
Aug 12 17:07:51 ka1 Keepalived_healthcheckers[1976]: Remote SMTP server [127.0.0.1]:25 connected.
Aug 12 17:07:51 ka1 Keepalived_healthcheckers[1976]: SMTP alert successfully sent.
Aug 12 17:07:52 ka1 Keepalived_healthcheckers[1976]: Timeout connecting server [192.168.201.100]:443.

实现独立子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理
将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含
子配置文件
格式：

include /path/file

示例：

[root@ka1 keepalived]# mkdir -p /etc/keepalived/conf.d/
[root@ka1 conf.d]# vim /etc/keepalived/keepalived.conf
#vrrp_instance VI_1 {
#    state MASTER
#    interface eth0
#    virtual_router_id 51
#    priority 100
#    advert_int 1
#    authentication {
#        auth_type PASS
#        auth_pass 1111
#    }
#    virtual_ipaddress {
#       172.25.254.100/24 dev eth0 label eth0:1
#    }  
#}
include "/etc/keepalived/conf.d/*.conf"


[root@ka1 conf.d]# vim  /etc/keepalived/conf.d/172.25.254.100.conf
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
}
[root@ka1 conf.d]# systemctl restart keepalived
完成配置

抢占模式和非抢占模式

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，这样会使vip在KA主机中来回漂移，造成网络抖动,建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色,非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机

注意：要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP

#ka1主机配置
vrrp_instance VI_1 {
state BACKUP #将MASTER设置为BACKUP
interface eth0
virtual_router_id 51
priority 100 #优先级高
nopreempt #非抢占模式
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:0
}
}
#KA2主机配置
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 80 #优先级低
advert_int 1
nopreempt #非抢占模式
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:0
	}
}

抢占延迟模式 preempt_delay

#ka1主机配置
vrrp_instance VI_1 {
state BACKUP #将MASTER设置为BACKUP
interface eth0
virtual_router_id 51
priority 100 #优先级高
preempt_delay 10s #抢占延迟10s
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:0
}
}
#KA2主机配置
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 80 #优先级低
advert_int 1
preempt_delay 10s #抢占延迟10s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:0
	}
}

VIP单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量
注意：启用 vrrp_strict 时，不能启用单播

#配置前
[root@ka1 ~]# tcpdump -i eth0 -nn host 224.0.0.18
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
21:03:47.802469 IP 172.25.254.10 > 224.0.0.18: VRRPv2, Advertisement, vrid 51, prio 100, authtype simple, intvl 1s, length 20

#开始配置
#master
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
   notification_email {
     2965053519@qq.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id kal.timinglee.org
   vrrp_skip_check_adv_addr
   #vrrp_strict #注释此参数，与vip单播模式冲突
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 224.0.0.18
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
   #preempt_delay 5s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       172.25.254.100/24 dev eth0 label eth0:1
    }
     unicast_src_ip 172.25.254.10 #本机ip
     unicast_peer {
        172.25.254.20 #对端主机IP
          }
}   

#backup
 global_defs {
   notification_email {
     2965053519@qq.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id kal.timinglee.org
   vrrp_skip_check_adv_addr
   #vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 224.0.0.18
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
    unicast_src_ip 172.25.254.20 #本端ip
    unicast_peer {
        172.25.254.10 #对端ip
                }
}   

[root@ka1 ~]# systemctl restart keepalived
[root@ka2 ~]# systemctl restart keepalived

测试

[root@ka1 ~]# tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
21:17:30.522642 IP 172.25.254.10 > 172.25.254.20: VRRPv2, Advertisement, vrid 51, prio 100, authtype simple, intvl 1s, length 20
21:17:31.526215 IP 172.25.254.10 > 172.25.254.20: VRRPv2, Advertisement, vrid 51, prio 100, authtype simple, intvl 1s, length 20

实现 Keepalived 状态切换的通知

当keepalived的状态变化时，可以自动触发脚本的执行，比如：发邮件通知用户
默认以用户keepalived_script身份执行脚本
如果此用户不存在，以root执行脚本可以用下面指令指定脚本执行用户的身份
通知脚本类型

当前节点成为主节点时触发的脚本

notify_master <STRING>|<QUOTED-STRING>

当前节点转为备节点时触发的脚本

notify_backup <STRING>|<QUOTED-STRING>

当前节点转为“失败”状态时触发的脚本

notify_fault <STRING>|<QUOTED-STRING>

通用格式的通知触发机制，一个脚本可完成以上三种状态的转换时的通知

notify <STRING>|<QUOTED-STRING>

当停止VRRP时触发的脚本

notify_stop <STRING>|<QUOTED-STRING>

脚本的调用方法
在 vrrp_instance VI_1 语句块的末尾加下面行

notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"

创建通知脚本

[root@ka1 ~]# vim /etc/keepalived/mail.sh
#!/bin/bash
mail_dst='2965053519@qq.com'
send_message()
{
        mail_sub="$HOSTNAME to be $1 vip move"
        mail_msg="`date +%F\ %T`:vrrp move $HOSTNAME change $1"
        echo $mail_msg | mail -s "$mail_sub" $mail_dst
}

case $1 in
        master)
        send_message master
        ;;
        backup)
        send_message backup
        ;;
        fault)
        send_message fault
        ;;
        *)
        ;;
      esac
      
[root@ka1 ~]# chmod +x /etc/keepalived/mail.sh
#ka2同理

邮件配置

[root@ka1 ~]# yum install mailx -y

QQ邮箱配置

[root@la1 ~]# vim /etc/mail.rc
#######mail set##########
set from=2965053519@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=2965053519@qq.com
set smtp-auth-password=***********#此处为密码
set smtp-auth=login
set ssl-verify=ignore

实现 master/master 的 Keepalived 双主架构

master/slave的单主架构，同一时间只有一个Keepalived对外提供服务，此主机繁忙，而另一台主机却很空闲，利用率低下，可以使用master/master的双主架构，解决此问题。
master/master 的双主架构：
即将两个或以上VIP分别运行在不同的keepalived服务器，以实现服务器并行提供web访问的目的，提高服务器资源利用率
配置：

[root@ka1 /]# vim /etc/keepalived/keepalived.conf
@@@@@@@上面省略
vrrp_instance VI_2 {
    state MASTER    #主
    interface eth0
    virtual_router_id 51     
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       172.25.254.100/24 dev eth0 label eth0:1	#vip:172.25.254.100
    }
     unicast_src_ip 172.25.254.10
     unicast_peer {
        172.25.254.20
                }
}

 vrrp_instance VI_2 {
    state BACKUP	#备
    interface eth0
    virtual_router_id 52
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       172.25.254.200/24 dev eth0 label eth0:2	#vip:172.25.254.200
    }
     unicast_src_ip 172.25.254.10
     unicast_peer {
        172.25.254.20
                }
}
@@@@@@@下面省略

[root@ka1 /]# vim /etc/keepalived/keepalived.conf
@@@@@@@上面省略
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       172.25.254.100/24 dev eth0 label eth0:1
    }
     unicast_src_ip 172.25.254.20
     unicast_peer {
        172.25.254.10
                }

vrrp_instance VI_2 {
    state MASTER
    interface eth0
    virtual_router_id 52
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       172.25.254.200/24 dev eth0 label eth0:2
    }
     unicast_src_ip 172.25.254.20
     unicast_peer {
        172.25.254.10
                }

}

}
@@@@@@@下面省略

测试：
1.让ka1down之前，查看ip信息
在这里插入图片描述

2.让ka1down之后，查看ip信息

实现IPVS的高可用性

IPVS相关配置
虚拟服务器配置结构

virtual_server IP port {
...
real_server {
...
   }
real_server {
...
   }
…
}

virtual server （虚拟服务器）的定义格式

virtual_server IP port #定义虚拟主机IP地址及其端口
virtual_server fwmark int #ipvs的防火墙打标，实现基于防火墙的负载均衡集群
virtual_server group string #使用虚拟服务器组

虚拟服务器配置

virtual_server IP port { #VIP和PORT
delay_loop <INT> #检查后端服务器的时间间隔
lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法
lb_kind NAT|DR|TUN #集群的类型,注意要大写
persistence_timeout <INT> #持久连接时长
protocol TCP|UDP|SCTP #指定服务协议,一般为TCP
sorry_server <IPADDR> <PORT> #所有RS故障时，备用服务器地址
real_server <IPADDR> <PORT> { #RS的IP和PORT
weight <INT> #RS权重
notify_up <STRING>|<QUOTED-STRING> #RS上线通知脚本
notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本
HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状
态检测方法
}
}
#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错

示例

#ka2同理，配置完全一样
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
virtual_server 172.25.254.100 80 { #VIP和PORT
    delay_loop 6 #检查后端服务器的时间间隔
    lb_algo wrr #定义调度方法
    lb_kind DR #集群的类型
    #persistence_timeout 50 持久连接时长
    protocol TCP #指定服务协议,一般为TCP

    real_server 172.25.254.110 80 { #RS的IP和PORT
        weight 1 #RS权重
        HTTP_GET {
            url { 
              path / #定义要监控的URL
              status_code 200 #判断上述检测机制为健康状态的响应码，一般为 200
            }
            connect_timeout 3 #客户端请求的超时时长
            nb_get_retry 2 #重试次数
            delay_before_retry 2 #重试之前的延迟时长
        }

    }
######################################
    real_server 172.25.254.120 80 {
        weight 1
        HTTP_GET {
            url {
              path /
           status_code 200
            }
            connect_timeout 3
            nb_get_retry 2
            delay_before_retry 2
        }

    }
#######################################

}

实现其它应用的高可用性 VRRP Script
keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先动态调整，从而实现其它应用的高可用性功能
分两步实现

定义脚本

vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定
义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。
通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减至
低于SLAVE节点，从而实现 VIP 切换到 SLAVE 节点

vrrp_script <SCRIPT_NAME> {
script <STRING>|<QUOTED-STRING> #此脚本返回值为非0时，会触发下面OPTIONS执行
OPTIONS
}

调用脚本

track_script：调用vrrp_script定义的脚本去监控资源，定义在VRRP实例之内，调用事先定义的
vrrp_script

track_script {
SCRIPT_NAME_1
SCRIPT_NAME_2
}

定义 VRRP script

vrrp_script <SCRIPT_NAME> { #定义一个检测脚本，在global_defs 之外配置
script <STRING>|<QUOTED-STRING> #shell命令或脚本路径
interval <INTEGER> #间隔时间，单位为秒，默认1秒
timeout <INTEGER> #超时时间
weight <INTEGER:-254..254> #默认为0,如果设置此值为负数，
#当上面脚本返回值为非0时
#会将此值与本节点权重相加可以降低本节点权重，即表示fall.
#如果是正数，当脚本返回值为0，会将此值与本节点权重相加可以提高本节点权重
#即表示 rise.通常使用负值
fall <INTEGER> #执行脚本连续几次都失败,则转换为失败，建议设为2以上
rise <INTEGER> #执行脚本连续几次都成功，把服务器从失败标记为成功
user USERNAME [GROUPNAME] #执行监测脚本的用户或组
init_fail #设置默认标记为失败状态，监测成功之后再转换为成功状态
}

调用 VRRP script

vrrp_instance test {
... ...
track_script {
check_down
	}
}

实战案例：实现HAProxy高可用

#在两个ka1和ka2先实现haproxy的配置

[root@ka1~]# vim /etc/haproxy/haproxy.cfg
listen webserver
bind 172.25.254.100:80
server web1 172.25.254.101:80 check
server web2 172.25.254.102:80 check
#在两个ka1和ka2两个节点启用内核参数
[root@ka1 ~]# vim /etc/sysctl.conf
net.ipv4.ip_nonlocal_bind = 1
[root@ka1~]# sysctl -p

#在ka1中编写检测脚本

[root@ka1 ~]# vim /etc/keepalived/test.sh
#!/bin/bash
/usr/bin/killall -0 haproxy

[root@ka1 ~]# chmod +x /etc/keepalived/test.sh

#在ka1中配置keepalived

vrrp_script check_lee {
        script "/etc/keepalived/test.sh"
        interval 1
        weight -30
        fall 2
        rise 2
        timeout 2
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
    unicast_src_ip 172.25.254.10
    unicast_peer {
        172.25.254.20
                }
        track_script { #调用脚本
           check_lee
        }
}