Keepalived高可用集群

最新推荐文章于 2024-08-25 12:26:45 发布

白名单.

最新推荐文章于 2024-08-25 12:26:45 发布

阅读量856

点赞数 26

文章标签：网络运维

本文链接：https://blog.csdn.net/2201_75739063/article/details/141127270

版权

Keepalived高可用集群

一.高可用集群

1.1 集群类型

LB：Load Balance 负载均衡
LVS/HAProxy/nginx（http/upstream, stream/upstream）
HA：High Availability 高可用集群
数据库、Redis
SPoF: Single Point of Failure，解决单点故障
HPC：High Performance Computing 高性能集群

1.2 系统可用性

SLA：Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能
等方面所达成的双方共同认可的协议或契约）
A = MTBF / (MTBF+MTTR）

99.95%:(60*24*30)*(1-0.9995)=21.6分钟 #一般按一个月停机时间统计

1.3 系统故障

硬件故障：设计缺陷、wear out（损耗）、非人为不可抗拒因素
软件故障：设计缺陷 bug
1.4 实现高可用
提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间)
解决方案：建立冗余机制
active/passive 主/备
active/active 双主
active --> HEARTBEAT --> passive
active <–> HEARTBEAT <–> active
1.5.VRRP：Virtual Router Redundancy Protocol
虚拟路由冗余协议,解决静态网关单点风险
物理层:路由器、三层交换机
软件层:keepalived

1.5.1 VRRP 相关术语

虚拟路由器：Virtual Router
虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器
VIP：Virtual IP
VMAC：Virutal MAC (00-00-5e-00-01-VRID)
物理路由器：
master：主设备
backup：备用设备
priority：优先级
1.5.2 VRRP 相关技术
通告：心跳，优先级等；周期性
工作方式：抢占式，非抢占式
安全认证：
无认证
简单字符认证：预共享密钥
MD5
工作模式：
主/备：单虚拟路由器
主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

二.Keepalived 部署

实验环境：RHEL7
KA1：172.25.254.10
KA2：172.25.254.20
realserver1:172.25.254.110
realserver2:172.25.254.120

2.1keepalived安装

[root@KA1 ~]# dnf install keepalived -y
[root@KA1 ~]# systemctl start keepalived
[root@KA1 ~]# ps axf | grep keepalived
2385 pts/0 S+ 0:00 \_ grep --color=auto keepalived
2326 ? Ss 0:00 /usr/sbin/keepalived -D
2327 ? S 0:00 \_ /usr/sbin/keepalived -D

[root@KA2 ~]# dnf install keepalived -y
[root@KA2 ~]# systemctl start keepalived
[root@KA2 ~]# ps axf | grep keepalived
2385 pts/0 S+ 0:00 \_ grep --color=auto keepalived
2326 ? Ss 0:00 /usr/sbin/keepalived -D
2327 ? S 0:00 \_ /usr/sbin/keepalived -D

2.2keepalived配置文件

配置文件：/etc/keepalived/keepalived.conf

2.2.1全局配置

! Configuration File for keepalived
global_defs {
notification_email {
594233887@qq.com #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区
分写多个
timiniglee-zln@163.com
}
notification_email_from keepalived@KA1.timinglee.org #发邮件的地址
smtp_server 127.0.0.1 #邮件服务器地址
smtp_connect_timeout 30 #邮件服务器连接timeout
router_id KA1.timinglee.org #每个keepalived主机唯一标识
#建议使用当前主机名，但多节点重名不影响
vrrp_skip_check_adv_addr #对所有通告报文都检查，会比较消耗性能
#启用此配置后，如果收到的通告报文和上一
个报文是同一 #个路由器，则跳过检查，默认
值为全检查
vrrp_strict #严格遵循vrrp协议
#启用此项后以下状况将无法启动服务:
#1.无VIP地址
#2.配置了单播邻居
#3.在VRRP版本2中有IPv6地址
#建议不加此项配置
vrrp_garp_interval 0 #报文发送延迟，0表示不延迟
vrrp_gna_interval 0 #消息发送延迟
vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围：
}

在这里插入图片描述

2.2.3配置虚拟路由

在这里插入图片描述
示例

#配置master端
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
594233887@qq.com
}
notification_email_from keepalived@KA1.timinglee.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id KA1.timinglee.org
vrrp_skip_check_adv_addr
#vrrp_strict #nft list ruleset
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {
	state MASTER
	interface eth0
	virtual_router_id 20
	priority 100
	advert_int 1
	authentication {
		auth_type PASS
		auth_pass 1111
	}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:0
	}
}
配置slave端
[root@KA2 ~]# vim /etc/keepalived/keepalived.conf
notification_email_from keepalived@timinglee.org
	smtp_server 127.0.0.1
	smtp_connect_timeout 30
	router_id KA2.timinglee.org
	vrrp_skip_check_adv_addr
	vrrp_garp_interval 0
	vrrp_gna_interval 0
	vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {
	state BACKUP
	interface eth0
	virtual_router_id 20 #相同id管理同一个虚拟路由
	priority 80 #低优先级
	advert_int 1
	authentication {
		auth_type PASS
		auth_pass 1111
	}
	virtual_ipaddress {
		172.25.254.100/24 dev eth0 label eth0:1
	}
}

** KA1,KA2重启服务**

** 抓包观察**

tcpdump -i eth0 -nn host 224.0.0.18

3.1抢占式和非抢占式

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，
这样会使vip在KA主机中来回漂移，造成网络抖动，
建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色
非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机

3.1.1非抢占模式 nopreempt

示例：

#ka1主机配置
vrrp_instance VI_1 {
	state BACKUP
	interface eth0
	virtual_router_id 20
	priority 100 #优先级高
	nopreempt #非抢占模式
	advert_int 1
	authentication {
		auth_type PASS
		auth_pass 1111
	}
virtual_ipaddress {
	172.25.254.100/24 dev eth0 label eth0:0
	}
}
#KA2主机配置
vrrp_instance VI_1 {
	state BACKUP
	interface eth0
	virtual_router_id 20
	priority 80 #优先级低
	advert_int 1
	nopreempt #非抢占模式
	authentication {
		auth_type PASS
		auth_pass 1111
}
virtual_ipaddress {
	172.25.254.100/24 dev eth0 label eth0:0
	}
}

3.1.2 抢占延迟模式 preempt_delay

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回VIP
注意：需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict

示例：

#ka1主机配置
vrrp_instance VI_1 {
	state BACKUP
	interface eth0
	virtual_router_id 20
	priority 100 #优先级高
	preempt_delay 10s #抢占延迟10s
	advert_int 1
	authentication {
		auth_type PASS
		auth_pass 1111
}
virtual_ipaddress {
	172.25.254.100/24 dev eth0 label eth0:0
	}
}
#KA2主机配置
vrrp_instance VI_1 {
	state BACKUP
	interface eth0
	virtual_router_id 20
	priority 80 #优先级低
	advert_int 1
	preempt_delay 10s #抢占延迟10S
	authentication {
		auth_type PASS
		auth_pass 1111
	}
virtual_ipaddress {
	172.25.254.100/24 dev eth0 label eth0:0
	}
}

VIP单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量
[!NOTE]
注意：启用 vrrp_strict 时，不能启用单播

在这里插入图片描述

3.1.3 实现 master/master 的 Keepalived 双主架构

master/slave的单主架构，同一时间只有一个Keepalived对外提供服务，此主机繁忙，而另一台主机却
很空闲，利用率低下，可以使用master/master的双主架构，解决此问题。
master/master 的双主架构：
即将两个或以上VIP分别运行在不同的keepalived服务器，以实现服务器并行提供web访问的目的，提高服务器资源利用率

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf 
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 100
    priority 100
    advert_int 1 5s
    #preempt_delay 5s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
    unicast_src_ip 172.25.254.10
    unicast_peer {
        172.25.254.20
    }
   # notify_master "/etc/keepalived/notify.sh master"
   # notify_backup "/etc/keepalived/notify.sh backup"
   # notify_fault "/etc/keepalived/notify.sh fault"

}


vrrp_instance VI_2 {
    state BACKUP
    interface eth0
    virtual_router_id 200
    priority 80
    advert_int 1 5s
    #preempt_delay 5s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.200/24 dev eth0 label eth0:2
    }
    unicast_src_ip 172.25.254.10
    unicast_peer {
        172.25.254.20
    }
   # notify_master "/etc/keepalived/notify.sh master"
   # notify_backup "/etc/keepalived/notify.sh backup"
   # notify_fault "/etc/keepalived/notify.sh fault"

}

[root@ka2 ~]# vim /etc/keepalived/keepalived.conf 
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 100
    priority 80
    advert_int 1
    #preempt_delay 5s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
    unicast_src_ip 172.25.254.20
    unicast_peer {
        172.25.254.10
    }
}

vrrp_instance VI_2 {
    state MASTER
    interface eth0
    virtual_router_id 200
    priority 100
    advert_int 1
    #preempt_delay 5s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.200/24 dev eth0 label eth0:2
    }
    unicast_src_ip 172.25.254.20
    unicast_peer {
        172.25.254.10
    }
}

测试

在这里插入图片描述

4.1实现IPVS的高可用性

IPVS相关配置

虚拟服务器配置

virtual_server IP port { #VIP和PORT
	delay_loop <INT> #检查后端服务器的时间间隔
	lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法
	lb_kind NAT|DR|TUN #集群的类型,注意要大写
	persistence_timeout <INT> #持久连接时长
	protocol TCP|UDP|SCTP #指定服务协议,一般为TCP
	sorry_server <IPADDR> <PORT> #所有RS故障时，备用服务器地址
	real_server <IPADDR> <PORT> { #RS的IP和PORT
	weight <INT> #RS权重
	notify_up <STRING>|<QUOTED-STRING> #RS上线通知脚本
	notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本
	HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状态检测方法
	}
}

4.1.1实战案例

实战案例1：LVS-DR 模式

准备web服务器并使用脚本绑定VIP至web服务器lo网卡

#准备两台后端RS主机
[root@rs1 ~]# yum install httpd -y
[root@rs1 ~]# echo RS1 - 172.25.254.10 > /var/www/html/index.html
[root@rs1 ~]# ip addr add 172.25.254.100/32 dev lo
[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@rs1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@rs2 ~]# yum install httpd -y
[root@rs1 ~]# echo RS1 - 172.25.254.10 > /var/www/html/index.html
[root@rs2 ~]# ip addr add 172.25.254.100/32 dev lo
[root@rs2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@rs2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@rs2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

lo网卡也可以这样修改：
在这里插入图片描述

[root@realserver1 ~]# echo  172.25.254.10 > /var/www/html/index.html
[root@realserver1 ~]# ip addr add 172.25.254.100/32 dev lo
[root@realserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@realserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@realserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@realserver1~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

配置keepalived
ka1:
在这里插入图片描述

ka2:

[root@ka1 ~]# yum install apvsadm
[root@ka2 ~]# yum install apvsadm

测试：

[root@ka1 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.100:80 wrr
-> 172.25.254.10:80 Route 1 0 6
-> 172.25.254.20:80 Route 1 0 6

在这里插入图片描述

模式故障：

#第一台RS1故障，自动切换至RS2
[root@rs1 ~]# systemctl stop httpd #当RS1故障

[root@ka1 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.100:80 wrr
-> 172.25.254.20:80 Route 1 0 12

实战案例2：独立子配置文件

在这里插入图片描述
一定先把keepalived的配置文件注释掉不然会和子配置文件冲突

然后相关的子配置文件就可以编写了，这里可以直接复制注释的内容

实战案例3：邮件配置

此实验虚拟机一定要能上网，不然发送不了邮件

[root@KA1 ~]# dnf install mailx -y

在这里插入图片描述

发送测试邮件：查看自己的邮箱是否收到邮箱

[root@KA1 ~]# echo hello world |mail -s test 1477143966@qq.com

在这里插入图片描述
还可以编写一个脚本

[root@ka1 ~]# vim /etc/keepalived/mail.sh
[root@ka1 ~]# chmod +x /etc/keepalived/mail.sh
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka1 ~]# bash /etc/keepalived/mail.sh master

[root@ka1 ~]# vim /etc/keepalived/mail.sh
#!/bin/bash
mail_dst="3178535571@qq.com"
send_message()
{
        mail_sub="$HOSTNAME to be $1 vip move"
        mail_msg="`date +%F\ %T`: vrrp move $HOSTNAME chage $1"
        echo $mail_msg | mail -s "$mail_sub" $mail_dst
}

case $1 in
        master)
        send_message master
        ;;
        backup)
        send_message backup
        ;;
        fault)
        send_message fault
        ;;
        *)
        ;;
esac

实战案例4：实现其它应用的高可用性 VRRP Script

keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先动态调整，从而实现其它应用的高可用性功能。

vrrp_script <SCRIPT_NAME> { #定义一个检测脚本，在global_defs 之外配置
script <STRING>|<QUOTED-STRING> #shell命令或脚本路径
interval <INTEGER> #间隔时间，单位为秒，默认1秒
timeout <INTEGER> #超时时间
weight <INTEGER:-254..254> #默认为0,如果设置此值为负数，
							#当上面脚本返回值为非0时
							#会将此值与本节点权重相加可以降低本节点权重，
							#即表示fall.
							#如果是正数，当脚本返回值为0，
							#会将此值与本节点权重相加可以提高本节点权重
							#即表示 rise.通常使用负值
fall <INTEGER> #执行脚本连续几次都失败,则转换为失败，建议设为2以上
rise <INTEGER> #执行脚本连续几次都成功，把服务器从失败标记为成功
user USERNAME [GROUPNAME] #执行监测脚本的用户或组
init_fail #设置默认标记为失败状态，监测成功之后再转换为成功状态
}

[root@ka1~ ]# vim /etc/keepalived/test.sh
[root@ka1~]# bash /etc/keepalived/test.sh 
[root@ka1~ ]# echo $?
0
[root@ka1~]# vim /etc/keepalived/keepalived.conf 
[root@ka1~]# systemctl restart keepalived.service

在这里插入图片描述

[root@ka1~ ]#ifconfig

在这里插入图片描述
创建一个/mnt/lee的目录，不存在为0：成功，权值100 在10上；存在非0：不成功权重70，飘到20上

[root@ka1~]# touch /mnt/lee
[root@ka1~]# systemctl restart keepalived.service 
[root@ka1~]# ifconfig

在这里插入图片描述

实战案例5：实现HAProxy高可用

haproxy + keepalived
KA1和KA2都需要安装haproxy

需要在两个ka1和ka2两个节点启用内核参数，目的是为了即使另一台主机没有100的VIP，也能进行远程解析，在原100的VIP下线的时候，保证服务能正常进行

[root@ka1~] yum install haproxy -y

[root@ka2~] yum install haproxy -y

设置内核参数：

[root@ka1 ~]# vim /etc/sysctl.conf 
[root@ka1 ~]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1

[root@ka2 ~]# vim /etc/sysctl.conf 
[root@ka2 ~]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1

编写haproxy:

[root@ka1 ~]# vim /etc/haproxy/haproxy.cfg 
[root@ka1 ~]# systemctl enable --now haproxy.service

[root@ka2 ~]# vim /etc/haproxy/haproxy.cfg 
[root@ka2 ~]# systemctl enable --now haproxy.service

在这里插入图片描述
这里需要删除两台服务器的环回以及开启rip功能

[root@realserver1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo
[root@realserver1 ~]# systemctl restart network
[root@realserver1 ~]# ifconfig

[root@realserver2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo
[root@realserver2 ~]# systemctl restart network
[root@realserver2 ~]# ifconfig

在这里插入图片描述

[root@realserver1 ~]# echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@realserver1 ~]# echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@realserver1 ~]# echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@realserver1~]# echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

#KA1和KA2都要配置
[root@ka1 ~]# vim /etc/keepalived/test.sh
[root@ka1 ~]# chmod +x /etc/keepalived/test.sh
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf 
[root@ka1 ~]# systemctl restart keepalived.service

在这里插入图片描述

测试

在这里插入图片描述
当haproxy出现故障的时候，依旧可以访问到

白名单.

关注

26
点赞
踩
14

收藏

觉得还不错? 一键收藏
0
评论
Keepalived高可用集群

LB：Load Balance 负载均衡HA：High Availability 高可用集群数据库、RedisSPoF: Single Point of Failure，解决单点故障HPC：High Performance Computing 高性能集群。
复制链接

扫一扫