keepalived

最新推荐文章于 2024-08-13 22:38:17 发布

小兔会写代码

最新推荐文章于 2024-08-13 22:38:17 发布

阅读量951

点赞数 25

文章标签：服务器网络运维 linux

本文链接：https://blog.csdn.net/xx1005906zz/article/details/141128696

版权

一、高可用集群

1.1 集群类型

LB：Load Balance 负载均衡
LVS/HAProxy/nginx（http/upstream, stream/upstream）
HA：High Availability 高可用集群
数据库、Redis
SPoF: Single Point of Failure，解决单点故障
HPC：High Performance Computing 高性能集群

1.2 系统可用性

SLA：Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能等方面所达成的双方共同认可的协议或契约）

A = MTBF / (MTBF+MTTR）
99.95%:(60*24*30)*(1-0.9995)=21.6分钟 #一般按一个月停机时间统计
#一个月的没延迟时间x一个月的延迟时间

1.3 系统故障

硬件故障：设计缺陷、wear out（损耗）、非人为不可抗拒因素
软件故障：设计缺陷 bug

1.4 实现高可用

提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间)

解决方案：建立冗余机制

active/passive 主/备
active/active 双主
active --> HEARTBEAT --> passive
active HEARTBEAT active

1.5.VRRP（Virtual Router Redundancy Protocol）

虚拟路由冗余协议,解决静态网关单点风险

物理层:路由器、三层交换机
软件层:keepalived

1.5.1 VRRP 相关术语

虚拟路由器：Virtual Router
虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器
VIP：Virtual IP
VMAC：Virutal MAC (00-00-5e-00-01-VRID)
物理路由器：
master：主设备
backup：备用设备
priority：优先级

1.5.2 VRRP 相关技术

通告：心跳，优先级等；周期性

工作方式：抢占式，非抢占式

安全认证：

无认证
简单字符认证：预共享密钥
MD5

工作模式：

主/备：单虚拟路由器
主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

二、keepalived

2.1简介

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务

功能：

基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2.2环境

各节点时间必须同步：ntp, chrony
关闭防火墙及SELinux

2.3配置说明

2.3.1安装及相关文件

安装后启动

yum install keepalived -y
systemctl start keepalived

配置文件

/etc/keepalived/keepalived.conf

全局配置

! Configuration File for keepalived

global_defs {
    notification_email {
        594233887@qq.com     #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
        timiniglee-zln@163.com
    }
    notification_email_from keepalived@KA1.timinglee.org         #发邮件的地址
    smtp_server 127.0.0.1                                        #邮件服务器地址
    smtp_connect_timeout 30                                      #邮件服务器连接timeout
    router_id KA1.timinglee.org                                  #每个keepalived主机唯一标识
                                                                 #建议使用当前主机名，但多节点                重名不影响
    vrrp_skip_check_adv_addr                                     #对所有通告报文都检查，会比较消耗性能
                                                                 #启用此配置后，如果收到的通告报文和上一个报文是同一 #个路由器，则跳过检查，默认值为全检查
    vrrp_strict #严格遵循vrrp协议
                                                                 #启用此项后以下状况将无法启动服务:
                                                                 #1.无VIP地址
                                                                 #2.配置了单播邻居
                                                                 #3.在VRRP版本2中有IPv6地址
                                                                 #建议不加此项配置
    vrrp_garp_interval 0                                         #报文发送延迟，0表示不延迟
    vrrp_gna_interval 0                                          #消息发送延迟
    vrrp_mcast_group4 224.0.0.18                                 #指定组播IP地址范围：
}

2.3.2配置虚拟路由器

vim /etc/keepalived/keepalived.conf
在ka1中

在ka2中

然后两台设备重启
systemctl restart keepalived
测试
ifconfig

2.3.3启动日志功能

在配置文件中

然后打开
vim /etc/sysconfig/keepalived
重启keepalived

在日志配置文件添加
vim /etc/rsyslog.conf
保存，然后重启日志
systemctl restart rsyslog.service
测试
tail -f /var/log/keepalived.log

2.3.4独立子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理

将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件

示例

先创建文件目录，然后去编辑文件

同时要将主配置文件中的一样的部分给注释掉

并且添加子配置文件的路径，使其找到

然后重启即可

2.4抢占模式和非抢占模式

2.4.1非抢占模式 nopreempt

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，

这样会使vip在KA主机中来回漂移，造成网络抖动，

建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色

非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机

注意：要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP

配置实例

ka1中，优先级要高

ka2中，优先级低

2.4.2抢占延迟模式 preempt_delay

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP

注意：需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict

配置实例

ka1

ka2

2.4.3VIP单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量

[!NOTE]

注意：启用 vrrp_strict 时，不能启用单播
#在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非使用业务网络
unicast_src_ip <IPADDR>                  #指定发送单播的源IP
unicast_peer {
    <IPADDR>                             #指定接收单播的对方目标主机IP
    ......
}

配置实例

ka1中

global_defs {
   notification_email {
     2518247437@qq.com
   }
   notification_email_from keepalived@gxx.org
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id ka1.gxx.org
   vrrp_skip_check_adv_addr
   #vrrp_strict                                    #此条是需要注释掉的
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 224.0.0.18
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 100
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev ens33 label ens33:1
    }
    unicast_src_ip 172.25.254.10 #本机IP
    unicast_peer {
        172.25.254.20             #指向对方主机IP
                                  #如果有多个keepalived,再加其它节点的IP
    }
}

ka2中

global_defs {
   notification_email {
     2518247437@qq.com
   }
   notification_email_from keepalived@gxx.org
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id ka2.gxx.org
   vrrp_skip_check_adv_addr
   #vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 224.0.0.18
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 100
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev ens33 label ens33:1
    }
    unicast_src_ip 172.25.254.20 #本机ip
    unicast_peer {
        172.25.254.10             #对端主机IP
    }
}

重启后然后可以抓包验证

2.5Keepalived 通知脚本配置

当keepalived的状态变化时，可以自动触发脚本的执行，比如：发邮件通知用户

默认以用户keepalived_script身份执行脚本

如果此用户不存在，以root执行脚本可以用下面指令指定脚本执行用户的身份

格式
global_defs {
    ......
    script_user <USER>
    ......
}

2.5.1通知脚本类型

当前节点成为主节点时触发的脚本
notify_master <STRING>|<QUOTED-STRING>
当前节点转为备节点时触发的脚本
notify_backup <STRING>|<QUOTED-STRING>
当前节点转为“失败”状态时触发的脚本
notify_fault <STRING>|<QUOTED-STRING>
通用格式的通知触发机制，一个脚本可完成以上三种状态的转换时的通知
notify <STRING>|<QUOTED-STRING>
当停止VRRP时触发的脚本
notify_stop <STRING>|<QUOTED-STRING>

2.5.2脚本的调用方法

在 vrrp_instance VI_1 语句块的末尾加下面行

notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"

2.5.3邮件配置

安装邮件发送工具

yum install mailx -y

QQ邮箱配置

vim /etc/mail.rc


set from=2518747437@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=2518747437@qq.com
set smtp-auth-password=isjatjwmcxtxbefj            #这是qq安全设置中的授权码，每个人不一样
set smtp-auth=login
set ssl-verify=ignore

以上配置成功后，可以测试一下

echo test message | mail -s test 2518747437@qq.com

确认可以发送后，可以编写脚本，ka1与ka2 都要部署

 vim /etc/keepalived/mail.sh

#!/bin/bash

mail_dest='2518747437@qq.com'
mail_send()
{
        mail_subj="$HOSTNAME to be $1 vip 转移"
        mail_mess="`date +%F\ %T`: vrrp 转移,$HOSTNAME 变为 $1"
        echo "$mail_mess" | mail -s "$mail_subj" $mail_dest
}

case $1 in
    master)
    mail_send master
        ;;
    backup)
    mail_send backup
        ;;
     fault)
    mail_send fault
        ;;
     *)
        exit 1
      ;;
esac

在/etc/keepalived/keepalived.conf配置文件中调用

notify_master "/etc/keepalived/mail.sh master"
notify_backup "/etc/keepalived/mail.sh backup"
notify_fault "/etc/keepalived/mail.sh fault"

不要注释，我是验证过后注释的

在qq邮箱查看（浏览器中亦可）

2.6 双主架构

master/slave的单主架构，同一时间只有一个Keepalived对外提供服务，此主机繁忙，而另一台主机却很空闲，利用率低下，可以使用master/master的双主架构，解决此问题。

master/master 的双主架构：即将两个或以上VIP分别运行在不同的keepalived服务器，以实现服务器并行提供web访问的目的，提高服务器资源利用率

2.6.1配置实例

ka1

ka2

测试

若ka1中有，ka2中就不会有

2.7实现IPVS的高可用性

2.7.1虚拟服务器配置格式

virtual_server IP port {
    ...
    real_server {
    ...
    }
    real_server {
    ...
    }
    ...
}

2.7.2virtual server （虚拟服务器）的定义格式

virtual_server IP port          #定义虚拟主机IP地址及其端口
virtual_server fwmark int       #ipvs的防火墙打标，实现基于防火墙的负载均衡集群
virtual_server group string     #使用虚拟服务器组

2.7.3虚拟服务器配置

virtual_server IP port {                  #VIP和PORT
    delay_loop <INT>                      #检查后端服务器的时间间隔
    lb_algo rr|wrr|lc|wlc|lblc|sh|dh      #定义调度方法
    lb_kind NAT|DR|TUN                    #集群的类型,注意要大写
    persistence_timeout <INT>             #持久连接时长
    protocol TCP|UDP|SCTP                 #指定服务协议,一般为TCP
    sorry_server <IPADDR> <PORT>          #所有RS故障时，备用服务器地址
    real_server <IPADDR> <PORT> {         #RS的IP和PORT
        weight <INT> #RS权重
        notify_up <STRING>|<QUOTED-STRING>         #RS上线通知脚本
        notify_down <STRING>|<QUOTED-STRING>       #RS下线通知脚本
        HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... }   #定义当前主机健康状态检测方法
    }
}

#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错

2.7.4应用层监测

HTTP_GET|SSL_GET {
    url {
        path <URL_PATH>             #定义要监控的URL
        status_code <INT>           #判断上述检测机制为健康状态的响应码，一般为 200
    }
    connect_timeout <INTEGER>       #客户端请求的超时时长, 相当于haproxy的timeout server
    nb_get_retry <INT>              #重试次数
    delay_before_retry <INT>        #重试之前的延迟时长
    connect_ip <IP ADDRESS>         #向当前RS哪个IP地址发起健康状态检测请求
    connect_port <PORT>             #向当前RS的哪个PORT发起健康状态检测请求
    bindto <IP ADDRESS>             #向当前RS发出健康状态检测请求时使用的源地址
    bind_port <PORT>                #向当前RS发出健康状态检测请求时使用的源端口
}

2.7.5TCP监测

TCP_CHECK {
    connect_ip <IP ADDRESS>         #向当前RS的哪个IP地址发起健康状态检测请求
    connect_port <PORT>             #向当前RS的哪个PORT发起健康状态检测请求
    bindto <IP ADDRESS>             #发出健康状态检测请求时使用的源地址
    bind_port <PORT>                #发出健康状态检测请求时使用的源端口
    connect_timeout <INTEGER>       #客户端请求的超时时长
                                    #等于haproxy的timeout server
}
2.7.6配置实例（实现单主的 LVS-DR 模式）

2.7.6.1、server1与server2

下载httpd后

配置vip，此配置是临时的

下载http后

配置vip，此配置是临时的

2.7.6.2、ka1与ka2

ka1

下载ipvsadm
yum install ipvsadm -y
配置完之后重启

使用查看
ipvsadm -Ln
ka2

测试

curl 172.25.254.100

2.8实现其它应用的高可用性 VRRP Script

keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先动态调整，从而实现其它应用的高可用性功能

参考配置文件：/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck

2.8.1VRRP Script 配置

分两步实现：

         定义脚本

         vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。

        通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减至低于SLAVE节点，从而实现 VIP 切换到 SLAVE 节点
vrrp_script <SCRIPT_NAME> {
    script <STRING>|<QUOTED-STRING>         #此脚本返回值为非0时，会触发下面OPTIONS执行
    OPTIONS
}
调用脚本

track_script：调用vrrp_script定义的脚本去监控资源，定义在VRRP实例之内，调用事先定义的 vrrp_script
track_script {
    SCRIPT_NAME_1
    SCRIPT_NAME_2
}

2.8.2定义 VRRP script

vrrp_script <SCRIPT_NAME> {             #定义一个检测脚本，在global_defs 之外配置
    script <STRING>|<QUOTED-STRING>     #shell命令或脚本路径
    interval <INTEGER>                  #间隔时间，单位为秒，默认1秒
    timeout <INTEGER>                   #超时时间
    weight <INTEGER:-254..254>          #默认为0,如果设置此值为负数，
                                        #当上面脚本返回值为非0时
                                        #会将此值与本节点权重相加可以降低本节点权重，
                                        #即表示fall.
                                        #如果是正数，当脚本返回值为0，
                                        #会将此值与本节点权重相加可以提高本节点权重
                                        #即表示 rise.通常使用负值
    fall <INTEGER>                      #执行脚本连续几次都失败,则转换为失败，建议设为2以上
    rise <INTEGER>                      #执行脚本连续几次都成功，把服务器从失败标记为成功
    user USERNAME [GROUPNAME]           #执行监测脚本的用户或组
    init_fail                           #设置默认标记为失败状态，监测成功之后再转换为成功状态
}

2.8.3调用 VRRP script

vrrp_instance test {
    ... ...
    track_script {
        check_down
    }
}

2.8.4配置实例：实现HAProxy高可用

ka1与ka2下载haproxy，两台主机操作一样
yum install haproxy -y
#然后启动服务
systemctl start haproxy

#然后编辑配置文件
vim /etc/haproxy/haproxy.conf
#追加
linsten webserver
    bind *:80        #任何IP
    server web1 172.25.254.110:80 check
    server web2 172.25.254.120:80 check

#编辑完成后重启haproxy服务
编写脚本

给予脚本文件权限
chmod +x /etc/keepalived/test.sh
编辑keepalived配置文件（ka1，ka2略微不同）

ka1,其VIP是主设备

ka2，其VIP是备用设备

全部完成后
systemctl restart keepalived
systemctl restart haproxy
测试

若关掉ka1中的haproxy之后仍然能访问即可成功

小兔会写代码

关注

25
点赞
踩
30

收藏

觉得还不错? 一键收藏
0
评论
keepalived

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)为ipvs集群的各RS做健康状态检测基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务virtual_server IP port #定义虚拟主机IP地址及其端口virtual_server fwmark int #ipvs的防火墙打标，实现基于防火墙的负载均衡集群。
复制链接

扫一扫