超详细！带你学习高可用集群keepalived

最新推荐文章于 2024-08-17 17:20:21 发布

969库库库

最新推荐文章于 2024-08-17 17:20:21 发布

阅读量581

点赞数 22

文章标签：学习

本文链接：https://blog.csdn.net/2201_75769266/article/details/141228555

版权

一、高可用集群

1、类型

LB：Load Balance 负载均衡 --- LVS/HAProxy/nginx（http/upstream, stream/upstream）

LVS（Linux Virtual Server）是基于 Linux 内核实现的四层负载均衡技术，具有高性能和高可靠性。它通过修改 IP 数据包的目的地址和端口来实现负载分发。
HAProxy 是一款提供高可用性、负载均衡和基于 TCP 和 HTTP 应用的代理软件。它支持七层负载均衡，可以根据 HTTP 请求的内容进行更精细的流量分发。
Nginx 不仅是一个优秀的 Web 服务器，也具备强大的负载均衡功能。在 http/upstream 中可以配置基于 HTTP 协议的负载均衡，而 stream/upstream 用于配置基于 TCP 协议的负载均衡。

HA：High Availability 高可用集群 --- 数据库、Redis

数据库：通过主从复制、数据备份与恢复、故障自动切换等技术来保障数据的可用性和业务的连续性。例如 MySQL 的主从架构，当主库出现故障，从库可以迅速切换为主库继续提供服务。
Redis 也可以通过集群模式、主从复制等方式实现高可用性。比如 Redis Sentinel 可以监控 Redis 主从节点的状态，实现自动故障切换。

SPoF: Single Point of Failure，解决单点故障

单点故障是指系统中某个组件的故障会导致整个系统无法正常工作。解决单点故障就是通过冗余、备份、故障转移等策略消除这种风险。

HPC：High Performance Computing 高性能集群

将多个计算机通过高速网络连接起来，协同完成大规模计算任务。

通常用于科学计算、工程模拟、大数据分析等需要强大计算能力的领域。比如气象预测模型的计算、基因序列的分析等。通过并行计算、分布式存储等技术，高性能集群能够大幅提高计算效率，缩短计算时间。

2、系统可用性

SLA ： Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能等方面所达成的双方共同认可的协议或契约）

A = MTBF / (MTBF+MTTR ）

指标： 99.9%, 99.99%, 99.999%,99.9999%

3、系统故障

硬件故障：设计缺陷、 wear out （损耗）、非人为不可抗拒因素

软件故障：设计缺陷 bug

4、实现高可用

提升系统高用性的解决方案：降低 MTTR- Mean Time To Repair( 平均故障时间 )

解决方案：建立冗余机制

active/passive 主/备
active/active 双主
active --> HEARTBEAT --> passive
active <--> HEARTBEAT <--> active

5、VRRP（Virtual Router Redundancy Protocol）

虚拟路由冗余协议 ,解决静态网关单点风险。通过把几台路由设备联合组成一台虚拟的路由设备，将虚拟路由设备的IP地址作为用户的默认网关实现与外部网络通信。当网关设备发生故障时，VRRP机制能够选举新的网关设备承担数据流量，从而保障网络的可靠通信。

物理层:路由器、三层交换机
软件层:keepalived

（1）作用

出口网关的备份，保证出口网关的高可用性。

（2）相关术语

虚拟路由器：Virtual Router
虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器
VIP：Virtual IP
VMAC：Virutal MAC (00-00-5e-00-01-VRID)
物理路由器：

master：主设备

backup：备用设备

priority：优先级

（3）相关技术

通告：心跳，优先级等；周期性

工作方式：抢占式，非抢占式

安全认证：

无认证

简单字符认证：预共享密钥

MD5

工作模式：

主/备：单虚拟路由器

主/主：主 / 备（虚拟路由器 1 ），备 / 主（虚拟路由器 2 ）

二、keepalived

1、简介

官网： http://keepalived.org/

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs 服务

功能：

基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2、架构

说明：

a.用户空间核心组件：

vrrp stack：VIP 消息通告

checkers：监测real server

system call：实现 vrrp 协议状态转换时调用脚本的功能

SMTP：邮件组件

IPVS wrapper：生成IPVS 规则

Netlink Reflector：网络接口

WatchDog：监控进程

b.控制组件：提供 keepalived.conf 的解析器，完成 Keepalived 配置

c.IO 复用器：针对网络目的而优化的自己的线程抽象

d.内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

3、配置虚拟路由器

ka1

下载keepalived

yum install -y keepalived

启动keepalived服务

systemctl restart keepalived

打开keepalived主配值文件

vim /etc/keepalived/keepalived.conf

按照如图编辑

重启服务

systemctl restart keepalived.service

ka2

下载keepalived

yum install -y keepalived

启动keepalived服务

systemctl restart keepalived

打开keepalived主配值文件

vim /etc/keepalived/keepalived.conf

按照如图编辑

重启服务

systemctl restart keepalived.service

测试一下

4、启用日志

ka1

编辑keepalived文件

vim /etc/sysconfig/keepalived

编辑rsyslog.conf文件，定义日志级别和日志文件

vim /etc/rsyslog.conf

分别重启keepalived和rsyslog服务

systemctl restart keepalived.service 
systemctl restart rsyslog

查看一下日志是否存在

ll /var/log/keepalived.service

ka2操作同ka1

5、子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理

将不同集群的配置，比如：不同集群的 VIP 配置放在独立的子配置文件中利用 include 指令可以实现包含子配置文件

格式：

include /path/file

ka1

vim /etc/keepalived/keepalived.conf

将虚拟路由器配置全部注释，在复制到子配置文件中

创建文件夹

mkdir -p /etc/keepalived/conf.d

编写子配置文件

vim /etc/keepalived/keepalived.conf/172.25.254.100.conf

重启服务

systemctl restart keepalived.service

ka2操作同上

测试

tcpdump -i eth0 -nn host 224.0.0.18

6、抢占式和非抢占式

抢占模式preempt（默认），即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，这样会使vip在KA主机中来回漂移，造成网络抖动。
非抢占模块,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机。
建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的maste角色

注：关闭抢占式，必须将keepalived主配置文件中的state一行配置为BACKUP

（1）默认抢占模式

ka1,ka2的keepalived服务都开启

在任意一台主机上测试

tcpdump -i eth0 -nn host 224.0.0.10

关闭ka1

开启ka1

（2）非抢占模式

ka1

vim /etc/keepalived/keepalived.conf

ka2

vim /etc/keepalived/keepalived.conf

当ka1,ka2服务正常时

关闭ka1服务后在开启

（3）延迟抢占

ka1

ka2

ka1优先级为100，重启之后，5s后VIP重新回到ka1上

7、VIP单播配置

默认 keepalived 主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量

注：启用 vrrp_strict 时，不能启用单播

（1）配置

ka1

 vim /etc/keepalived/keepalived.conf

重启

systemctl restart keepalived.service

ka2

 vim /etc/keepalived/keepalived.conf

重启

systemctl restart keepalived.service

（3）抓包查看单播效果

tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20

8、邮件

安装邮件发送工具

dnf install mailx -y

ka1

 vim /etc/keepalived/keepalived.conf

配置邮箱

vim /etc/mail.rc

在末尾添加以下内容

set from=3499017131@qq.com //你的QQ邮箱

set smtp=smtp.qq.com

set smtp-auth-user=3499017131@qq.com

set smtp-auth-password=**************

set smtp-auth=login

set ssl-verify=ignore

smtp-auth-password获取：

登录QQ邮箱
点击“账号与安全”
点击“安全设置”
生成授权码
复制授权码，粘贴到“smtp-auth-password=”

编辑通知脚本

vim /etc/keepalived/mail.sh

#!/bin/bash
mail_dst=3041609716@qq.com
send_message()
{
mail_sub="$HOME to be $1 vip move"
mail_msg="`date +%F\ %T`:vrrp move $HOSTNAME change $1"
echo $mail_msg | mail -s "$mail_sub" $mail_dst
}
case $1 in
master)
send_message master
;;
backup)
send_message backup
;;
fault)
send_message fault
;;
*)
;;
esac

给脚本添加可执行权限

chmod +x /etc/keepalived/mail.sh

重启服务

systemctl restart keepalived.service

测试

echo hello | mail -s test 3499017131@qq.com

QQ邮箱就会收到邮件

调用脚本

/etc/keepalived/mail.sh master
/etc/keepalived/mail.sh default
/etc/keepalived/mail.sh backup

当VIP跳转时就会自动发送邮件

9、实现 master/master 的 Keepalived 双主架构

master/slave的单主架构：同一时间只有一个Keepalived对外提供服务，此主机繁忙，而另一台主机却很空闲，利用率低下，可以使用master/master的双主架构，解决此问题。
master/master 的双主架构：即将两个或以上VIP分别运行在不同的keepalived服务器，以实现服务器并行提供web访问的目的，提高服务器资源利用率

ka1

vim /etc/keepalived/keepalived.conf

修改以下部分

global_defs {
notification_email {
11111111@qq.com
}
notification_email_from keepalived@lm.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id ka1.lm.org
vrrp_skip_check_adv_addr
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
}
vrrp_instance VI_2 {
state BACKUP
interface eth0
virtual_router_id 200
priority 80
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
}

重启

systemctl restart keepalived

ka2

vim /etc/keepalived/keepalived.conf

global_defs {
notification_email {
11111111@qq.com
}
notification_email_from keepalived@lm.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id ka2.lm.org
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
}
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 200
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
}

重启

systemctl restart keepalived

三、实现IPVS的高可用性

1、虚拟服务器配置结构

virtual_server IP port {
...
real_server {
...
}
real_server {
...
}
…
}

2、virtual server （虚拟服务器）的定义格式

virtual_server IP port # 定义虚拟主机 IP 地址及其端口

virtual_server fwmark int #ipvs 的防火墙打标，实现基于防火墙的负载均衡集群

virtual_server group string # 使用虚拟服务器组

3、虚拟服务器配置

virtual_server IP port { #VIP 和 PORT

delay_loop <INT> # 检查后端服务器的时间间隔

lb_algo rr|wrr|lc|wlc|lblc|sh|dh # 定义调度方法

lb_kind NAT|DR|TUN # 集群的类型 , 注意要大写

persistence_timeout <INT> # 持久连接时长

protocol TCP|UDP|SCTP # 指定服务协议 , 一般为 TCP

sorry_server <IPADDR> <PORT> # 所有 RS 故障时，备用服务器地址

real_server <IPADDR> <PORT> { #RS 的 IP 和 PORT

weight <INT> #RS 权重

notify_up <STRING>|<QUOTED-STRING> #RS 上线通知脚本

notify_down <STRING>|<QUOTED-STRING> #RS 下线通知脚本

HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } # 定义当前主机健康状

态检测方法

}

}

注 : 括号必须分行写 ,如果两个括号写在同一行 , 如 : }} 会出错

4、应用层监测（HTTP_GET|SSL_GET ）

HTTP_GET|SSL_GET {

url {

path <URL_PATH> # 定义要监控的 URL

status_code <INT> # 判断上述检测机制为健康状态的响应码，一般为 200

}

connect_timeout <INTEGER> # 客户端请求的超时时长 , 相当于 haproxy 的 timeout server

nb_get_retry <INT> # 重试次数

delay_before_retry <INT> # 重试之前的延迟时长

connect_ip <IP ADDRESS> # 向当前 RS 哪个 IP 地址发起健康状态检测请求

connect_port <PORT> # 向当前 RS 的哪个 PORT 发起健康状态检测请求

bindto <IP ADDRESS> # 向当前 RS 发出健康状态检测请求时使用的源地址

bind_port <PORT> # 向当前 RS 发出健康状态检测请求时使用的源端口

}

5、TCP监测

传输层监测：TCP_CHECK

TCP_CHECK {

connect_ip <IP ADDRESS> # 向当前 RS 的哪个 IP 地址发起健康状态检测请求

connect_port <PORT> # 向当前 RS 的哪个 PORT 发起健康状态检测请求

bindto <IP ADDRESS> # 发出健康状态检测请求时使用的源地址

bind_port <PORT> # 发出健康状态检测请求时使用的源端口

connect_timeout <INTEGER> # 客户端请求的超时时长

# 等于 haproxy 的 timeout server

}

四、实现其它应用的高可用性 VRRP Script

keepalived 利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先动态调整，从而实现其它应用的高可用性功能

参考配置文件： /usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck

1、VRRP Script 配置

（1）定义脚本

vrrp_script ：自定义资源监控脚本， vrrp 实例根据脚本返回值，公共定义，可被多个实例调用，
定义在vrrp 实例之外的独立配置块，一般放在 global_defs 设置块之后。
通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对 MASTER 节点的权
重减至低于SLAVE 节点，从而实现 VIP 切换到 SLAVE 节点。

vrrp_script <SCRIPT_NAME> {

script <STRING>|<QUOTED-STRING> # 此脚本返回值为非 0 时，会触发下面 OPTIONS 执行

OPTIONS

}

（2）调用脚本

track_script ：调用 vrrp_script 定义的脚本去监控资源，定义在 VRRP 实例之内，调用事先定义的

vrrp_script

track_script {

SCRIPT_NAME_1

SCRIPT_NAME_2

}

2、定义VRRP script

vrrp_script <SCRIPT_NAME> { # 定义一个检测脚本，在 global_defs 之外配置
script <STRING>|<QUOTED-STRING> #shell 命令或脚本路径
interval <INTEGER> # 间隔时间，单位为秒，默认 1 秒
timeout <INTEGER> # 超时时间
weight <INTEGER:-254..254> # 默认为 0, 如果设置此值为负数，
# 当上面脚本返回值为非 0 时
# 会将此值与本节点权重相加可以降低本节点权重，
# 即表示 fall.
# 如果是正数，当脚本返回值为 0 ，
# 会将此值与本节点权重相加可以提高本节点权重
# 即表示 rise. 通常使用负值
fall <INTEGER> # 执行脚本连续几次都失败 , 则转换为失败，建议设为 2 以上
rise <INTEGER> # 执行脚本连续几次都成功，把服务器从失败标记为成功
user USERNAME [GROUPNAME] # 执行监测脚本的用户或组
init_fail # 设置默认标记为失败状态，监测成功之后再转换为成功状态
}

3、调用 VRRP script

vrrp_instance test {

... ...

track_script {

check_down

}

}

五、实现Keepalived-HAProxy

实验环境：纯净状态下

reslserver1	realserver2	ka1	ka2
ip:172.25.254.110	ip:172.25.254.120	ip:172.25.254.10	ip:172.25.254.20

realserver1

1、修改IP

nmcli connection modify eth0 ipv4.address 172.25.254.110/24
nmcli connection up eth0

2、下载http服务

yum install -y httpd

3、启动服务

systemctl restart httpd

4、重定向web服务内容

echo realserver1 -172.25.254.110 > /var/www/html/index.html

5、重启服务

systemctl restart httpd

realserver2

1、修改IP

nmcli connection modify eth0 ipv4.address 172.25.254.120/24
nmcli connection up eth0

2、下载http服务

yum install -y httpd

3、启动服务

systemctl restart httpd

4、重定向web服务内容

echo realserver1 -172.25.254.120 > /var/www/html/index.html

5、重启服务

systemctl restart httpd

ka1

1、下载keepalived

yum install -y keepalived

2、启动keepalived

systemctl restart keepalived.service

3、修改配置

vim /etc/sysctl.conf 
net.ipv4.ip_nonlocal_bind=1
sysctl -p
net.ipv4.ip_nonlocal_bind = 1

4、编写创建判断haproxy的脚本

vim /etc/keepalived/test.sh

#!/bin/bash

killall -0 haproxy

5、添加可执行权限

chmod +x /etc/keepalived/test.sh

6、修改keepalived主配置文件

vim /etc/keepalived/test.sh

global_defs {
notification_email {
11111111@qq.com
}
notification_email_from keepalived@lm.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id ka1.lm.org
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}

vrrp_script check_haproxy {
script "/etc/keepalived/test.sh"
inerval 1
weight -30
fall 2
rise 2
timout 2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
track_script {
check_haproxy
}
}

7、重启服务

systemctl restart keepalived

8、下载haproxy

 yum install -y haproxy

9、配置haproxy主配置文件

vim /etc/haproxy/haproxy.cfg

添加以下内容

listen webcluster
bind 172.25.254.100:80
mode http
balance roundrobin
server web1 172.25.254.110:80 check inter 2 fall 3 rise 5
server web1 172.25.254.120:80 check inter 2 fall 3 rise 5

重启服务

systemctl restart haproxy

ka2

1、下载keepalived

yum install -y keepalived

2、启动keepalived

systemctl restart keepalived.service

3、修改配置

vim /etc/sysctl.conf 
net.ipv4.ip_nonlocal_bind=1
sysctl -p
net.ipv4.ip_nonlocal_bind = 1

4、编写创建判断haproxy的脚本

vim /etc/keepalived/test.sh

#!/bin/bash

killall -0 haproxy

5、添加可执行权限

chmod +x /etc/keepalived/test.sh

6、修改keepalived主配置文件

vim /etc/keepalived/test.sh

global_defs {
notification_email {
11111111@qq.com
}
notification_email_from keepalived@lm.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id ka1.lm.org
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}

vrrp_script check_haproxy {
script "/etc/keepalived/test.sh"
inerval 1
weight -30
fall 2
rise 2
timout 2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.10
}
track_script {
check_haproxy
}
}

7、重启服务

systemctl restart keepalived

8、下载haproxy

 yum install -y haproxy

9、配置haproxy主配置文件

vim /etc/haproxy/haproxy.cfg

添加以下内容

listen webcluster
bind 172.25.254.100:80
mode http
balance roundrobin
server web1 172.25.254.110:80 check inter 2 fall 3 rise 5
server web1 172.25.254.120:80 check inter 2 fall 3 rise 5

重启服务

systemctl restart haproxy

测试

在ka1上，停止haproxy服务，分别查看ka1，ka2的ifconfig，查看VIP是否飘动

开启ka1上的haproxy服务，再次查看

systemctl restart haproxy.service

至此，就是keepalived的全部内容了

969库库库

关注

22
点赞
踩
17

收藏

觉得还不错? 一键收藏
0
评论
超详细！带你学习高可用集群keepalived

官网：vrrp协议的软件实现，原生设计目的为了高可用ipvs服务功能：基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则在配置文件中预先定义为ipvs集群的各RS做健康状态检测基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginxhaproxy等服务vrrp_script <SCRIPT_NAME> { # 定义一个检测脚本，在 global_defs 之外配置。
复制链接

扫一扫