高可用集群KEEPALIVED

最新推荐文章于 2024-09-10 07:04:35 发布

Vanish_ran

最新推荐文章于 2024-09-10 07:04:35 发布

阅读量1k

点赞数 15

分类专栏：云原生文章标签：服务器网络运维

本文链接：https://blog.csdn.net/2302_77378293/article/details/141285897

版权

云原生专栏收录该内容

3 篇文章 0 订阅

订阅专栏

高可用集群

简介

高可用集群（ High Availability Cluster, HA 集群），其中高可用的含义是最大限度地可以使用。从集群的名字上可以看出，此类集群实现的功能是保障用户的应用程序持久、不间断地提供服务。当应用程序出现故障或者系统硬件、网络出现故障时，应用可以自动、快速从一个节点切换到另一个节点，从而保证应用持续、不间断地对外提供服务，这就是高可用集群实现的功能 .

集群类型

LB：Load Balance 负载均衡
LVS/HAProxy/nginx（http/upstream, stream/upstream）
HA：High Availability 高可用集群
数据库、Redis
SPoF: Single Point of Failure，解决单点故障
HPC：High Performance Computing 高性能集群

系统可用性

SLA：Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能等方面所达成的双方共同认可的协议或契约）

A = MTBF / (MTBF+MTTR）

99.95%:(60*24*30)*(1-0.9995)=21.6分钟 #一般按一个月停机时间统计

指标：99.9%, 99.99%, 99.999%,99.9999%

系统故障

硬件故障：设计缺陷、wear out（损耗）、非人为不可抗拒因素
软件故障：设计缺陷 bug

实现高可用

提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间)
建立冗余机制
active/passive 主/备
active/active 双主
active --> HEARTBEAT --> passive
active HEARTBEAT active

VRRP：Virtual Router Redundancy Protocol虚拟路由冗余协议

简介

虚拟路由冗余协议VRRP（Virtual Router Redundancy Protocol）是一种用于提高网络可靠性的容错协议。通过VRRP，可以在主机的下一跳设备出现故障时，及时将业务切换到备份设备，从而保障网络通信的连续性和可靠性。

VRRP将多台设备组成一个虚拟设备，通过配置虚拟设备的IP地址为缺省网关，实现缺省网关的备份。当网关设备发生故障时，VRRP机制能够选举新的网关设备承担数据流量，从而保障网络的可靠通信。如下图所示，当Master设备故障时，发往缺省网关的流量将由Backup设备进行转发

VRRP 相关术语

虚拟路由器：Virtual Router
虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器
VIP：Virtual IP
VMAC：Virutal MAC (00-00-5e-00-01-VRID)
物理路由器：
master：主设备
backup：备用设备
priority：优先级

VRRP 相关技术

通告：心跳，优先级等；周期性
工作方式：抢占式，非抢占式
安全认证：
无认证
简单字符认证：预共享密钥
MD5
工作模式：
主/备：单虚拟路由器
主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

Keepalived部署

简介

Keepalived起初是为LVS设计的，专门用来监控集群系统中各个服务节点的状态，后来有加入VRRP的功能，VRRP出现的目的就是为了解决静态路由器出现的单点故障问题，它能偶保证网络的不间断、稳定的运行。所有，keepalived一方面具有LVS cluster nodes healthchecks功能，另一方面也具有LVS directors faiover功能。

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务
官网：http://keepalived.org/
功能：
基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

Keepalived 架构

用户空间核心组件：

VRRP Stack：负责VRRP消息的通告和处理。
Checkers：负责监测后端服务器的健康状态。
System Call：实现VRRP协议状态转换时调用脚本的功能。
SMTP：邮件组件，用于发送故障转移通知。
IPVS Wrapper：生成IPVS规则，用于负载均衡。
Netlink Reflector：网络接口相关的操作。
WatchDog：监控进程状态，确保Keepalived服务的稳定运行。
控制组件：提供keepalived.conf的解析器。
IO复用器：用于优化网络通信。、
内存管理组件：为通用的内存管理功能提供访问权限。

Keepalived 相关文件

软件包名：keepalived
主程序文件：/usr/sbin/keepalived
主配置文件：/etc/keepalived/keepalived.conf
配置文件示例：/usr/share/doc/keepalived/
Unit File：/lib/systemd/system/keepalived.service
Unit File的环境配置文件：/etc/sysconfig/keepalived

Keepalived实验

实验环境

四台RHEL 7.9虚拟机（关闭防火墙、SELinux）：

ka1、ka2为keepalived节点，web1、web2为后端真实服务器


Virtual IP	172.25.254.100/24
ka1	172.25.254.10/24
ka2	172.25.254.20/24
web1	172.25.254.110/24
web2	172.25.254.120/24

全局配置

! Configuration File for keepalived
global_defs {
notification_email {
594233887@qq.com #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区
分写多个
timiniglee-zln@163.com
}
notification_email_from keepalived@KA1.timinglee.org #发邮件的地址
smtp_server 127.0.0.1 #邮件服务器地址
smtp_connect_timeout 30 #邮件服务器连接timeout
router_id KA1.timinglee.org #每个keepalived主机唯一标识
#建议使用当前主机名，但多节点
重名不影响
vrrp_skip_check_adv_addr #对所有通告报文都检查，会比较消耗性能
#启用此配置后，如果收到的通告报文和上一
个报文是同一 #个路由器，则跳过检查，默认
值为全检查
vrrp_strict #严格遵循vrrp协议
#启用此项后以下状况将无法启动服务:
#1.无VIP地址
#2.配置了单播邻居
#3.在VRRP版本2中有IPv6地址
#建议不加此项配置
vrrp_garp_interval 0 #报文发送延迟，0表示不延迟
vrrp_gna_interval 0 #消息发送延迟
vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围：
}

配置虚拟路由器

vrrp_instance VI_1 {
    state MASTER        #身份指定
    interface eth0        #指定虚拟路由器使用的物理接口，可以和VIP不在一个网卡
    virtual_router_id 51        #每个虚拟路由器唯一标识（0-255），同属一个虚拟路由器的                                                   多个keepalived节点的唯一标识需要一致
    priority 100        #当前节点在虚拟路由器中的优先级，范围1-254，优先级越高，值越大
    advert_int 1        #VRRP通告时间间隔，默认1s
    authentication {        #认证机制
        auth_type AH | PASS        #AH为IPSEC认证（不推荐），PASS为简单密码（建议使用）
        auth_pass 1111        #预共享密钥，仅前八位有效，同一虚拟路由器的密钥必须一致
    }
    virtual_ipaddress {        #虚拟IP
        192.168.200.16        #绑定VIp，不指定网卡，默认为eth0；注意：不指定掩码默认为32
        192.168.254.101/24 dev eth1
        192.168.254.102/24 dev eth2 label eth2:1        #label：标记多VIP在同一网卡上的位置
    }
}

启用keepalived日志功能

vim /etc/sysconfig/keepalived

独立子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理将不同集群的配置，
不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件

vim /etc/keepalived/keepalived.conf

实现master/slave的 Keepalived 单主架构

默认抢占模式

MASTER配置

[root@ka1 ~]# yum install -y keepalived
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
    notification_email {
    1111111111@qq.com
}
    notification_email_from keepalived@KA1.timinglee.org
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id KA1.timinglee.org
    vrrp_skip_check_adv_addr
    vrrp_garp_interval 0
    vrrp_gna_interval 0
    vrrp_mcast_group4 224.0.0.18
}
    vrrp_instance VI_1 {
        state MASTER
        interface eth0
        virtual_router_id 20
        priority 100
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:0
    }
}
[root@ka1 ~]# systemctl restart keepalived.service

BACKUP配置

[root@ka2 ~]# yum install -y keepalived
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
    notification_email {
        1111111111@qq.com
    }
    notification_email_from keepalived@timinglee.org
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id KA2.timinglee.org
    vrrp_skip_check_adv_addr
    vrrp_garp_interval 0
    vrrp_gna_interval 0
    vrrp_mcast_group4 224.0.0.18
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 20        #相同id管理同一个虚拟路由
    priority 80                 #优先级要比MASTER低
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:0
    }
}
[root@ka2 ~]# systemctl restart keepalived.service

测试

tcpdump -i eth0 -nn host 224.0.0.18

非抢占模式 nopreempt

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，这样会使vip在KA主机中来回漂移，造成网络抖动，
建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机

ka1(配置完成后重启服务)

ka2(配置完成后重启服务)

抢占延迟模式 preempt_delay

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP

preempt_delay # #指定抢占延迟时间为#s，默认延迟300s

延迟抢占模式需要各节点身份为BACKUP，并且不启用vrrp_strict

ka1

ka2

测试

关闭ka1的keepalived服务，10s后重新启动，等待10sVIP还是会切换到ka1上

VIP单播配置

默认keepalived节点之间使用组播相互通告信息，容易造成网络环境复杂，可以将其替换为单播，减少网络流量

注意：在开启vrrp_strict时，无法启用单播

ka1

ka2

测试

tcpdump -i eth0 -nn src host 192.168.0.10 and dst 192.168.0.20
#在没有VIP的节点上查看；src为拥有VIP的节点，dst为没有VIP的节点

双主架构

配置方式与单主架构相同，其keepalived节点之间互相为主备

ka1为VIP1的MASTER，ka2为BACKUP

ka1为VIP2的BACKUP，ka2为MASTER

通知脚本配置

当keepalived的状态发生变化时，通知脚本命令可以自动触发脚本执行，发送邮件通知管理员

默认以用户keepalived_script身份执行脚本

可以使用以下命令指定执行脚本的用户

global_defs {
        script_user

}

通知类型

当前节点获得VIP

 notify_master "<path> master"

当前节点转换为备用节点

 notify_backup "<path> backup"

当前节点失效

 notify_fault "<path> fault"

当前节点停止VRRP

 notify_stop "<path> stop"

通用格式

notify "<path>"

创建通知脚本

KA1、KA2配置步骤相同

vim /etc/keepalived/mail.sh

chmod +x /etc/keepalived/mail.sh    #提供可执行权限

安装邮件发送工具

yum install -y mailx

在收件邮箱中开启SMTP服务，获得授权密码（163、QQ邮箱均可）

添加mailx配置

vim /etc/mail.rc

echo test | mail -s test 123456@test.com    #发送测试邮件
#此时收件的邮箱会收到邮箱

添加自动运行脚本命令

vim /etc/keepalived/keepalived.conf

测试

restart keepalived服务，查看邮箱是否收到邮箱

Vanish_ran

关注

15
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
高可用集群KEEPALIVED

虚拟路由冗余协议VRRP（Virtual Router Redundancy Protocol）是一种用于提高网络可靠性的容错协议。通过VRRP，可以在主机的下一跳设备出现故障时，及时将业务切换到备份设备，从而保障网络通信的连续性和可靠性。VRRP将多台设备组成一个虚拟设备，通过配置虚拟设备的IP地址为缺省网关，实现缺省网关的备份。当网关设备发生故障时，VRRP机制能够选举新的网关设备承担数据流量，从而保障网络的可靠通信。
复制链接

扫一扫

专栏目录