KEEPALIVED高可用集群知识大全

最新推荐文章于 2024-08-20 10:12:40 发布

胡仁总灌君.

最新推荐文章于 2024-08-20 10:12:40 发布

阅读量812

点赞数 29

文章标签：运维服务器 linux 网络 KEEPALIVED 高可用集群双主架构

本文链接：https://blog.csdn.net/mlh521love/article/details/141282084

版权

一、KEEPALIVED高可用集群简介

1、Keepalived 高可用集群的工作原理

2、Keepalived 高可用集群的作用

九、keepalived-vrrp脚本编写

十、keepalived+haproxy的高可用集群

在当今数字化的时代，各种网络服务和应用对于可用性的要求越来越高。企业和组织依赖于关键业务系统的持续运行，以满足用户的需求和保障业务的正常开展。
随着业务的增长和系统的复杂度增加，单点故障成为了一个严重的问题。如果单个服务器出现故障，可能会导致服务中断，给用户带来不良体验，甚至造成经济损失。
在这种情况下，为了提高系统的可靠性和可用性，避免单点故障对业务的影响，高可用集群的概念应运而生。
传统的解决方案可能存在一些局限性，例如配置复杂、切换速度慢、缺乏有效的监控和自动切换机制等。
Keepalived 作为一种高可用解决方案，旨在提供一种相对简单、高效且可靠的方式来构建高可用集群。它利用了虚拟路由器冗余协议（VRRP）的特性，能够快速检测主服务器的故障，并自动将服务切换到备份服务器上。

一、KEEPALIVED高可用集群简介

1、Keepalived 高可用集群的工作原理

Keepalived 主要是通过虚拟路由器冗余协议（VRRP）来实现高可用的。VRRP 会在一组服务器中选举出一个主服务器（Master）和多个备份服务器（Backup）。
主服务器会定时向网络中发送心跳信息，告知其他备份服务器自己的存活状态。如果备份服务器在一定时间内没有收到主服务器的心跳信息，就会认为主服务器出现故障，并通过选举机制将自己提升为主服务器，接管主服务器的工作，以保证服务的连续性。

2、Keepalived 高可用集群的作用

故障切换：
当主服务器出现故障时，能够快速将服务切换到备份服务器上，减少服务中断的时间，提高系统的可用性。例如，在一个 Web 服务器集群中，如果主服务器宕机，Keepalived 可以迅速将流量导向备份服务器，确保用户仍然能够正常访问网站。
负载均衡：
可以配合其他负载均衡工具，实现更高效的负载均衡策略。比如，将请求均匀地分配到多个服务器上，提高系统的整体性能和处理能力。
网络地址转换（NAT）：
Keepalived 可以用于实现 NAT 功能，使得内部网络能够通过一个公共 IP 地址访问外部网络。
监控功能：
能够监控服务器的各种状态指标，如网络连接、服务进程等，及时发现潜在的问题并采取相应的措施。

二、KEEPALIVED部署

基于RHEL7的环境搭建

1、网络配置

[root@ka1 ~]# vmset.sh eth0 172.25.254.10 KA1.mlh.org
[root@ka2 ~]# vmset.sh eth0 172.25.254.20 KA2.mlh.org
[root@realserver1 ~]# vmset.sh eth0 172.25.254.110 realserver.mlh.org
[root@realserver2 ~]# vmset.sh eth0 172.25.254.120 realserver.mlh.org

2、软件安装与启动

[root@ka1 ~]# yum install keepalived -y
[root@ka2 ~]# yum install keepalived -y
[root@realserver1 ~]# yum install httpd -y
[root@realserver2 ~]# yum install httpd -y

#输入内容
[root@realserver1 ~]# echo 172.25.254.110 > /var/www/html/index.html
[root@realserver2 ~]#  echo 172.25.254.120 > /var/www/html/index.html
#启动服务
[root@realserver1 ~]# systemctl enable --now httpd
[root@realserver2 ~]# systemctl enable --now httpd

3、配置虚拟路由器

#KA1
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
#配置内容
global_defs {
   notification_email {
        3182678072@qq.com	#keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from keepalived@mlh.org	#发邮件的地址
   smtp_server 127.0.0.1	#邮件服务器地址
   smtp_connect_timeout 30	#邮件服务器连接timeout
   router_id ka1.mlh.org	 #每个keepalived主机唯一标识
   vrrp_skip_check_adv_addr	
   vrrp_strict
   vrrp_garp_interval 0	#报文发送延迟，0表示不延迟
   vrrp_gna_interval 0	#消息发送延迟
   vrrp_mcast_group4 224.0.0.18	 #指定组播IP地址范
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0	 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP不在一个网卡
    virtual_router_id 100	#每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一，否则服务无法启动，同属一个虚拟路由器的多个keepalived节点必须相同，务必要确认在同一网络中此值必须唯一
    priority 100	 #当前物理节点在此虚拟路由器的优先级，范围：1-254
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
    172.25.254.100/24 dev eth0 label eth0:1
   }
}	#指定VIP、网卡

#KA2
[root@ka1 ~]# scp /etc/keepalived/keepalived.conf root@172.25.254.20:/etc/keepalived/keepalived.conf	#远程拷贝文件
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
#配置内容

vrrp_instance VI_1 {
    state BACKUP	#备用设备
    interface eth0
    virtual_router_id 100
    priority 80	#修改优先级
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
    172.25.254.100/24 dev eth0 label eth0:1
   }
}

4、效果实现

#测试：
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka2 ~]# systemctl restart keepalived.service
[root@ka1 ~]# tcpdump -i eth0 -nn host 224.0.0.18	#监视数据包

效果实现：

KA1down，备用设备up

xxxxxxxxxx [root@ka1 ~]# systemctl stop keepalived.service

此时vip切换到KA2设备

三、启用keepalived日志功能

[root@ka1 ~]# vim /etc/sysconfig/keepalived
#配置内容
KEEPALIVED_OPTIONS="-D -S 6"
[root@ka1 ~]# vim /etc/rsyslog.conf

[root@ka1 ~]# systemctl restart keepalived.service 
[root@ka1 ~]# systemctl restart rsyslog.service
[root@ka1 ~]# ll /var/log/keepalived.log
-rw-------. 1 root root 21136 8月  12 13:36 /var/log/keepalived.log

四、KEEPALIVED的几种工作模式

1、KEEPALIVED双主模式

Keepalived 双主模式是一种高可用架构方案。在这种模式下，通常有两台服务器都被配置为主服务器。其工作原理基于虚拟路由冗余协议（VRRP）。VRRP 会为这两台服务器分配不同的优先级。正常情况下，优先级较高的服务器承担主要的工作负载，同时向网络中发送 VRRP 通告来表明自己的主状态。而另一台优先级较低的服务器则处于备用状态，并监听主服务器的通告。当主服务器出现故障，无法发送 VRRP 通告时，备用服务器在一段时间后没有收到通告，就会认为主服务器失效，并将自己提升为主服务器，接管工作负载。

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
#配置以下内容实现双主架构
vrrp_instance VI_2 {
    state BACKUP
    interface eth0
    virtual_router_id 200
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.200/24 dev eth0 label eth0:2
    }
        unicast_src_ip 172.25.254.10              
        unicast_peer {      
            172.25.254.20
    }
    track_script {
        check_haproxy
    }
}

[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_2 {
    state MASTER
    interface eth0
    virtual_router_id 200
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.200/24 dev eth0 label eth0:2
    }
        unicast_src_ip 172.25.254.20
        unicast_peer {      
            172.25.254.10
    }
}

第一台主机KA1对于172.25.254.100这个vip是主设备，对172.25.254.200这个vip是备用设备；

第二台主机KA2对于172.25.254.100这个vip是备用设备，对172.25.254.200这个vip是主设备。

当主机1发生故障时，主机2将会接管工作：

2、非抢占模式

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色。

这样会使vip在KA主机中来回漂移，造成网络抖动。

建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机。

KA1主机配置
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
    state BACKUP	#要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP
    interface eth0
    virtual_router_id 100
    priority 100	#优先级高
    nopreempt	#非抢占模式
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
}
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 100
    priority 80	#优先级低
    advert_int 1
    nopreempt	#非抢占模式
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
}

最开始：

高优先级KA1重启后vip会迁移至低优先级KA2，在非抢占模式下并不会因为高优先级重启而抢走vip：

[root@ka1 ~]# systemctl restart keepalived.service

后续也发生down时,仍会将VIP迁移回原主机：

[root@ka2 ~]# systemctl stop keepalived.service

3、抢占延迟模式

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回VIP

注意：需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 100
    priority 100
    preempt_delay 5s	#设置延迟时间
    #nopreempt
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
}

实验效果：

KA1重启前后五秒vip的变化：

五、实现独立子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理。

将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件。

[root@KA1 ~]# mkdir  /etc/keepalived/conf.d
[root@ka1 ~]# vim /etc/keepalived/conf.d/172.25.254.100.conf
#配置内容
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 100
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
   }
}
#KA2同理

六、VIP单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 100
    priority 100
    #preempt_delay 5s
    #nopreempt
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
        unicast_src_ip 172.25.254.10              
        unicast_peer {      
            172.25.254.20
    }
}
#KA2配置同理

[root@ka1 log]# tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20

七、keepalived邮件通知脚本配置

1、邮件配置

root@KA1 ~]# yum install mailx -y
[root@KA2 ~]# yum install mailx -y

QQ邮箱配置：

打开QQ邮箱网页》账号与安全》安全设置》生成授权码 ****************

[root@ka1 log]# vim /etc/mail.rc
#在末行插入以下内容
set from=3182678***@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=3182678***@qq.com
set smtp-auth-password=hswuuangiqjndcfa
set smtp-auth=login
set ssl-verify=ignore

#KA2配置同理
测试：
[root@ka1 log]# echo test messages | mail -S test 3182678***@qq.com

2、通知脚本配置

[root@ka1 log]# vim /etc/keepalived/mail.sh
#配置内容
#!/bin/bash
mail_dest='3182678***@qq.com'

mail_send()
{
  mail_subj="$HOSTNAME to be $1 vip remove"
  mail_mess="`date +%F\ %T`:vrrp remove,$HOSTNAME change $1"
  echo "$mail_mess" | mail -s "$mali_subj" $mail_dest
}
case $1 in
  master)
  mail_send master
  ;;
  backup)
  mail_send backup
  ;;
  fault)
  mail_send fault
  ;;
  *)
  exit 1
  ;;
esac

[root@ka1 log]# chmod +x /etc/keepalived/mail.sh

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf

KA2配置同上

重启keepalived服务得到两个邮件：

八、Keepalived- IPVS设定

在 Keepalived + LVS 双主模式的 DR（Direct Routing，直接路由）模式中，实现过程包括以下关键步骤：首先，配置 LVS 负载均衡器，指定其为 DR 模式，并设置相关的调度算法和真实服务器列表。然后，在每台真实服务器上配置相关的网络参数，包括 VIP（Virtual IP，虚拟 IP）等。接下来，配置 Keepalived，使其能够监控 LVS 负载均衡器的状态，并在出现故障时进行切换。工作原理如下：客户端向 VIP 发送请求。 LVS 负载均衡器接收到请求后，根据预先配置的调度算法，选择一台合适的真实服务器。由于是 DR 模式，负载均衡器通过修改数据包的 MAC 地址，将请求直接发送到选定的真实服务器。真实服务器接收到请求后，发现目的 MAC 地址是自己的，会处理请求。处理完成后，直接将响应数据包返回给客户端，而不再经过负载均衡器。在双主模式下，有两台 LVS 负载均衡器都处于活动状态，同时工作并分担负载。 Keepalived 会不断监控两台负载均衡器的健康状态。如果其中一台出现故障，Keepalived 会迅速进行切换，将其从服务中移除，确保服务的连续性。

虚拟服务器配置参数

virtual_server IP port { #VIP和PORT
 delay_loop <INT> #检查后端服务器的时间间隔
 lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法
 lb_kind NAT|DR|TUN #集群的类型,注意要大写
 persistence_timeout <INT> #持久连接时长
 protocol TCP|UDP|SCTP #指定服务协议,一般为TCP
 sorry_server <IPADDR> <PORT> #所有RS故障时，备用服务器地址
 real_server <IPADDR> <PORT> {          #RS的IP和PORT
 weight <INT>   #RS权重
 notify_up <STRING>|<QUOTED-STRING>   #RS上线通知脚本
 notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本
 HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状
态检测方法
 }
}

应用层监测

HTTP_GET|SSL_GET {
 url {
   path <URL_PATH> #定义要监控的URL
   status_code <INT> #判断上述检测机制为健康状态的响应码，一般为 200
 }
 connect_timeout <INTEGER> #客户端请求的超时时长, 相当于haproxy的timeout server
 nb_get_retry <INT> #重试次数
 delay_before_retry <INT> #重试之前的延迟时长
 connect_ip <IP ADDRESS> #向当前RS哪个IP地址发起健康状态检测请求
 connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求
 bindto <IP ADDRESS> #向当前RS发出健康状态检测请求时使用的源地址
 bind_port <PORT> #向当前RS发出健康状态检测请求时使用的源端口
}

TCP监测

TCP_CHECK {
     connect_ip <IP ADDRESS> #向当前RS的哪个IP地址发起健康状态检测请求
     connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求
     bindto <IP ADDRESS> #发出健康状态检测请求时使用的源地址
     bind_port <PORT> #发出健康状态检测请求时使用的源端口
     connect_timeout <INTEGER> #客户端请求的超时时长
     #等于haproxy的timeout server   
}

准备web服务器并设置VIP至web服务器lo网卡

[root@realserver1 ~]# yum install httpd -y
[root@realserver2 ~]# yum install httpd -y
[root@realserver1 ~]# ip a a 172.25.254.100/32 dev lo
[root@realserver2 ~]# ip a a 172.25.254.100/32 dev lo

解决vip响应问题

[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf
[root@realserver2 ~]# vim /etc/sysctl.d/arp.conf
#配置内容
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2

sysctl --system	#检测配置是否生效

安装ipvsadm软件观察路由策略

[root@ka1 ~]# yum install ipvsadm -y
[root@ka2 ~]# yum install ipvsadm -y

虚拟主机配置

virtual_server 172.25.254.100 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 172.25.254.110 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 3
            nb_get_retry 2
            delay_before_retry 2
        }
    }

    real_server 172.25.254.120 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 3
            nb_get_retry 2
            delay_before_retry 2
        }
    }

}
#两台虚拟主机均要配置

通过ipvsadm工具可以发现，重启主机后加载keepalived服务路由策略可以自动加载出来：

当断掉一台后端服务器时，在虚拟服务器主机可以发现其路由策略消失，但不影响访问：

九、keepalived-vrrp脚本编写

vrrp_script <SCRIPT_NAME> { #定义一个检测脚本，在global_defs 之外配置
     script <STRING>|<QUOTED-STRING> #shell命令或脚本路径
     interval <INTEGER> #间隔时间，单位为秒，默认1秒
     timeout <INTEGER> #超时时间
     weight <INTEGER:-254..254> #默认为0,如果设置此值为负数，
     #当上面脚本返回值为非0时
     #会将此值与本节点权重相加可以降低本节点权重， 
#即表示fall. 
     #如果是正数，当脚本返回值为0，
     #会将此值与本节点权重相加可以提高本节点权重
     #即表示 rise.通常使用负值
     
     fall <INTEGER>       #执行脚本连续几次都失败,则转换为失败，建议设为2以上
     rise <INTEGER>       #执行脚本连续几次都成功，把服务器从失败标记为成功
     user USERNAME [GROUPNAME] #执行监测脚本的用户或组
     init_fail         #设置默认标记为失败状态，监测成功之后再转换为成功状态
}

脚本编写

[root@ka1 ~]# vim /etc/keepalived/test.sh
#!bin/bash
[ ! -f "/mnt/mlh" ]
[root@ka1 ~]# chmod +x /etc/keepalived/test.sh
[root@ka1 ~]# sh /etc/keepalived/test.sh
[root@ka1 ~]# echo $?
1

定义脚本

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf

vrrp_script check_file {
    script "/etc/keepalived/test.sh"

    interval 1

    weight -30

    fall 2

    rise 2

    timeout 2

}

调用脚本

vrrp_instance VI_1 {
... ...
 track_script {
 check_file
 }
}

脚本执行结果为0，说明weight值不生效，优先级恢复为100，则vip迁回

十、keepalived+haproxy的高可用集群

Keepalived + HAProxy 双主模式下的高可用集群工作原理在 Keepalived + HAProxy 双主模式的高可用集群中，工作原理基于以下几个关键部分： HAProxy 的负载均衡功能 HAProxy 负责接收客户端的请求，并根据预设的负载均衡策略将请求分发到后端的真实服务器。例如，它可以基于轮询、加权轮询、最少连接等算法来分配请求，以实现高效的资源利用和性能优化。 Keepalived 的高可用机制 Keepalived 基于 VRRP 协议来实现高可用性。在双主模式下，有两台服务器都被配置为主节点，它们各自拥有一个虚拟 IP（VIP）。正常情况下，两个主节点都在工作，同时向网络中发送 VRRP 通告来表明自己的状态。故障检测与切换当其中一台主节点出现故障，例如网络中断、HAProxy 服务停止等，它无法继续发送 VRRP 通告。另一台主节点在一段时间内没有收到故障节点的通告后，会认为其失效，并接管故障节点的 VIP，从而继续提供服务，确保服务的连续性。

实验环境：在keepalived-ipvs环境下更改配置：

删除后端服务器vip

[root@realserver1 ~]# ip a d 172.25.254.100/32 dev lo
[root@realserver2 ~]# ip a d 172.25.254.100/32 dev lo

arp响应

[root@realserver1 & realserver2 ~]# vim /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_ignore=0
net.ipv4.conf.all.arp_announce=0
net.ipv4.conf.lo.arp_ignore=0
net.ipv4.conf.lo.arp_announce=0

软件安装

[root@ka1 ~]# yum install haproxy -y
[root@ka2 ~]# yum install haproxy -y

在两个ka1和ka2两个节点启用内核参数

[root@ka1 & ka2 ~]# vim /etc/sysctl.conf 
net.ipv4.ip_nonlocal_bind = 1
[root@ka1 & ka2 ~]# sysctl -p

在虚拟服务器进行haproxy配置

[root@ka1 & ka2 ~]# vim /etc/haproxy/haproxy.cfg
#在文件末行配置以下内容
listen webcluster
    bind 172.25.254.100:80
    mode http
    balance roundrobin
    server web1 172.25.254.110:80 check inter 3 fall 2 rise 5
    server web2 172.25.254.120:80 check inter 3 fall 2 rise 5

在ka1中编写检测脚本，当vip主机down时，脚本检测将vip漂移至另外一台主机

[root@ka1 & ka2 ~]# vim /etc/keepalived/haproxy.sh
#!/bin/bash
killall -0 haproxy
[root@ka1 & ka2 ~]# chmod +X /etc/keepalived/haproxy.sh

修改虚拟服务器keepalived配置文件

测试：

当虚拟主机断开后，后端依旧能提供访问

当虚拟服务器再次启动时，vip返回

胡仁总灌君.

关注

29
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
KEEPALIVED高可用集群知识大全

Keepalived 主要是通过虚拟路由器冗余协议（VRRP）来实现高可用的。VRRP 会在一组服务器中选举出一个主服务器（Master）和多个备份服务器（Backup）。主服务器会定时向网络中发送心跳信息，告知其他备份服务器自己的存活状态。如果备份服务器在一定时间内没有收到主服务器的心跳信息，就会认为主服务器出现故障，并通过选举机制将自己提升为主服务器，接管主服务器的工作，以保证服务的连续性。
复制链接

扫一扫