keepalived 主备切换造成服务中断以及MASTER主动宣告测试

于 2024-04-28 16:49:02 发布
阅读量565 收藏 2
点赞数 14
分类专栏： 系统 文章标签： linux 安全 ip
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56676115/article/details/138283426
版权
文章描述了在测试环境中，服务器之间的VRRP协议导致的脑裂现象，以及通过调整gratuitousARP配置来解决master与backup角色切换时ARP缓存同步问题的过程。
摘要由CSDN通过智能技术生成

测试环境：

服务器：10.3.247.120（master） fa:16:3e:97:21:e5
服务器：10.3.247.118（backtup） fa:16:3e:02:9c:d2
vip：10.3.247.239
服务器：10.3.247.121 arp缓存查看

本次测试不涉及交换机配置修改

//断开命令
iptables -I INPUT 1 -p vrrp -j DROP && iptables -I INPUT 1 -p vrrp -j DROP
//恢复命令
iptables -D INPUT 1 && iptables -D INPUT 1
//arp缓存查看命令 
while true; do  echo $(date) ; arp -v |grep 10.3.247.239; sleep 1 ;done

断开时，keepalived 出现脑裂现象：
master 上 /var/log/messages 没有接收到日志，backup日志如下：

//tserver118（backup）
Nov 11 11:00:06 tserver118 Keepalived_vrrp[22554]: VRRP_Instance(VI_mknginx1) Transition to MASTER STATE
Nov 11 11:00:07 tserver118 Keepalived_vrrp[22554]: VRRP_Instance(VI_mknginx1) Entering MASTER STATE
Nov 11 11:00:07 tserver118 Keepalived_vrrp[22554]: VRRP_Instance(VI_mknginx1) setting protocol VIPs.
Nov 11 11:00:07 tserver118 Keepalived_vrrp[22554]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:00:07 tserver118 Keepalived_vrrp[22554]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239
Nov 11 11:00:07 tserver118 Keepalived_vrrp[22554]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:00:07 tserver118 Keepalived_vrrp[22554]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:00:07 tserver118 Keepalived_vrrp[22554]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:00:07 tserver118 Keepalived_vrrp[22554]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:00:12 tserver118 Keepalived_vrrp[22554]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:00:12 tserver118 Keepalived_vrrp[22554]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239
Nov 11 11:00:12 tserver118 Keepalived_vrrp[22554]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:00:12 tserver118 Keepalived_vrrp[22554]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:00:12 tserver118 Keepalived_vrrp[22554]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:00:12 tserver118 Keepalived_vrrp[22554]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:00:14 tserver118 Keepalived_vrrp[22554]: VRRP_Instance(VI_mknginx1) Received advert with higher priority 100, ours 96
Nov 11 11:00:14 tserver118 Keepalived_vrrp[22554]: VRRP_Instance(VI_mknginx1) Entering BACKUP STATE
Nov 11 11:00:14 tserver118 Keepalived_vrrp[22554]: VRRP_Instance(VI_mknginx1) removing protocol VIPs.

从日志中可看到tserver118(backup)成为MASTER，发送ARP on eth0 for 10.3.247.239

//ARP缓存

10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0
Thu Nov 11 11:00:06 CST 2021
10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0
Thu Nov 11 11:00:07 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:00:08 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
······
Thu Nov 11 11:07:22 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:07:23 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:07:24 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0

网络恢复后 tserver120（master）没有再次宣告。11:00:15~11:07:22 10.3.247.239 HWaddress 仍然绑定在server118(backup)网卡上，

如何解决

添加master主动宣告

   //添加配置
   vrrp_garp_master_refresh 60      #成为master后，刷新免费arp最小时间间隔
   vrrp_garp_master_refresh_repeat 1    #成为master后，每次发送1个arp
//断开命令
iptables -I INPUT 1 -p vrrp -j DROP && iptables -I INPUT 1 -p vrrp -j DROP
//恢复命令
iptables -D INPUT 1 && iptables -D INPUT 1
//arp缓存查看命令 
while true; do  echo $(date) ; arp -v |grep 10.3.247.239; sleep 1 ;done

断开时，keepalived 出现脑裂现象，查看/var/log/messages

//tserver118（backup）
Nov 11 11:23:28 tserver118 Keepalived_vrrp[18429]: VRRP_Instance(VI_mknginx1) Transition to MASTER STATE
Nov 11 11:23:29 tserver118 Keepalived_vrrp[18429]: VRRP_Instance(VI_mknginx1) Entering MASTER STATE
Nov 11 11:23:29 tserver118 Keepalived_vrrp[18429]: VRRP_Instance(VI_mknginx1) setting protocol VIPs.
Nov 11 11:23:29 tserver118 Keepalived_vrrp[18429]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:29 tserver118 Keepalived_vrrp[18429]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239
Nov 11 11:23:29 tserver118 Keepalived_vrrp[18429]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:29 tserver118 Keepalived_vrrp[18429]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:29 tserver118 Keepalived_vrrp[18429]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:29 tserver118 Keepalived_vrrp[18429]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:34 tserver118 Keepalived_vrrp[18429]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:34 tserver118 Keepalived_vrrp[18429]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239
Nov 11 11:23:34 tserver118 Keepalived_vrrp[18429]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:34 tserver118 Keepalived_vrrp[18429]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:34 tserver118 Keepalived_vrrp[18429]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:34 tserver118 Keepalived_vrrp[18429]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:43 tserver118 Keepalived_vrrp[18429]: VRRP_Instance(VI_mknginx1) Received advert with higher priority 100, ours 96
Nov 11 11:23:43 tserver118 Keepalived_vrrp[18429]: VRRP_Instance(VI_mknginx1) Entering BACKUP STATE
Nov 11 11:23:43 tserver118 Keepalived_vrrp[18429]: VRRP_Instance(VI_mknginx1) removing protocol VIPs.

从日志中可看到tserver118(backup)成为MASTER，发送ARP on eth0 for 10.3.247.239

//tserver120（master）
Nov 11 11:23:32 tserver120 Keepalived_vrrp[3396]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:23:32 tserver120 Keepalived_vrrp[3396]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239
Nov 11 11:24:32 tserver120 Keepalived_vrrp[3396]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:24:32 tserver120 Keepalived_vrrp[3396]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239
Nov 11 11:25:33 tserver120 Keepalived_vrrp[3396]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:25:33 tserver120 Keepalived_vrrp[3396]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239
Nov 11 11:26:33 tserver120 Keepalived_vrrp[3396]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:26:33 tserver120 Keepalived_vrrp[3396]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239
Nov 11 11:27:33 tserver120 Keepalived_vrrp[3396]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:27:33 tserver120 Keepalived_vrrp[3396]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239
Nov 11 11:28:33 tserver120 Keepalived_vrrp[3396]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:28:33 tserver120 Keepalived_vrrp[3396]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239
Nov 11 11:29:33 tserver120 Keepalived_vrrp[3396]: Sending gratuitous ARP on eth0 for 10.3.247.239
Nov 11 11:29:33 tserver120 Keepalived_vrrp[3396]: VRRP_Instance(VI_mknginx1) Sending/queueing gratuitous ARPs on eth0 for 10.3.247.239

tserver120（master）会每隔一分钟发送 gratuitous ARP 宣告，从ARP缓存中可以看到，1分钟后 10.3.247.239 的HWaddress 已经绑在tserver120（master）网卡上

//ARP缓存
Thu Nov 11 11:23:28 CST 2021
10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0
Thu Nov 11 11:23:29 CST 2021
10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0
Thu Nov 11 11:23:30 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:23:31 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:23:32 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:23:33 CST 2021
10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0
Thu Nov 11 11:23:34 CST 2021
10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0
Thu Nov 11 11:23:35 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:23:36 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:23:37 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:23:38 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
······
Thu Nov 11 11:24:29 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:24:30 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:24:31 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:24:32 CST 2021
10.3.247.239             ether   fa:16:3e:02:9c:d2   C                     eth0
Thu Nov 11 11:24:33 CST 2021
10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0
Thu Nov 11 11:24:34 CST 2021
10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0
Thu Nov 11 11:24:35 CST 2021
10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0
Thu Nov 11 11:24:36 CST 2021
10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0
Thu Nov 11 11:24:37 CST 2021
10.3.247.239             ether   fa:16:3e:97:21:e5   C                     eth0

线上服务器修改配置文件后可以通过systemctl reload keepalived 命令重新加载

参考文章
Keepalived中gratuitous arp的作用

勤不了一点
关注
专栏目录
keepalived介绍以及配置主备库自动切换，一条龙服务
weixin_44892327的博客
07-30 1125
VIP（Virtual IP，虚拟IP地址）是指由多个物理服务器或节点共享的一个IP地址。VIP用于在高可用性（HA）环境中，实现对外提供一个固定的访问入口，尽管实际的服务可能在不同的物理节点上运行。通过使用VIP，客户端只需要连接到这个固定的IP地址，而不需要关心背后的物理服务器的变化。Keepalived 知道默认的配置文件位置是 /etc/keepalived/keepalived.conf，因为这是预定义的标准位置。
linux主备网卡切换脚本,Keepalived主备切换时执行脚本
weixin_42361666的博客
05-01 931
notify_master |：当前节点成为主节点时触发的脚本notify_backup |：当前节点转为备节点时触发的脚本notify_fault |：当前节点转为“失败”状态时触发的脚本notify |：通用格式的通知触发机制，一个脚本可完成以上三种状态的转换时的通知vim /etc/keepalived/keepalived.conf!ConfigurationFileforkeep...
linux keepalived 切换条件,keepalived主备切换失败解决办法
weixin_26884391的博客
05-12 2128
在迁移haproxy负载的时候出现keepalived切换失败具体故障现象如下：两台haproxy+keepalived启动完毕，第一次访问到主机(正常)killall keepalived ，删除主机的keepalived，马上切换到备机(正常,可以通过ip addr查看虚IP是否生效)keepalived -f /usr/local/etc/keepalived/keepalived.conf...
keepalived裂脑导致主备无法切换
江晓龙的博客
05-21 1118
1.keepalived高可用裂脑 由于某些原因，导致两台keepalived高可用服务器在指定时间内，无法检测到对方的心跳消息，各自取得资源及服务的所有权，而此时的两台高可用服务器又都还或者。 导致裂脑的原因： ​ 1.服务器网线松动等网络故障 ​ 2.服务器硬件故障发生损坏现象而崩溃 ​ 3.主备都开启firewalld防火墙 ​ 4.Nginx服务器死掉 2.模拟裂脑案例1-防火墙 双方都开启防火墙 lb01 [root@localhost ~]# systemctl start firewalld.
keepalived启动后一段时间就关闭
red_sky_blue的专栏
05-18 1390
keepalived启动后自动停止
记一次keepalived脑裂问题查找
特立独行的毛毛虫的博客
03-06 9100
在自己环境做keepalived+redis实验时，当重启了备用redies机器后，发现两台redies主机都拿到了VIP [root@redis2 ~]# ip addr list 1: lo: mtu 65536 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
基于keepalived 的nginx高可用方案
zhangxm_qz的博客
02-25 2666
Nginx 作为反向代理服务器，所有的流量都会经过 Nginx，所以 Nginx 本身的可靠性十分重要。 可以通过keepalived实现。结构图如下： 首先准备两台nginx 服务器，并且将每台nginx服务器上都安装好keepalived keepalived安装参考： keepalived安装 https://blog.csdn.net/zhangxm_qz/article/d...
keepalived主备切换时间研究
xzsww123的博客
01-11 4641
keepalived主备切换时间研究 1. 概述 本文档主要研究keepalived主备切换过程中耗时的问题。 测试环境Windows10作为宿主机，两台虚拟机为Linux CentOS-7。 VIP DIP priority 主备模式 192.168.220.100 192.168.220.101 100 MASTER 192.168.220.100 192.168.220.102 100 BACKUP 2. 环境安装 在宿主机上安装wireshark，安装过程省略。 在两台虚拟机
使用keepalived实现对mysql主从复制的主备自动切换.docx
01-09
"使用keepalived实现对mysql主从复制的主备自动切换" 本文主要讲解如何使用keepalived实现对mysql主从复制的主备自动切换。keepalived是一款高可用性解决方案，可以实现虚拟IP的管理和服务监控，在mysql主从复制...
mysql5.7 keepalived_linux MySQL 5.7+keepalived 主备服务器自主切换
weixin_42510841的博客
02-02 404
一、环境准备1、关闭防火墙与selinuxsystemctl stop firewalldsetenforce 0sed -i 's/SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config二、mysql5.7.20安装#MySQL5.6与MySQL5.7的区别在于初始化的时候，其他安装步骤一致1、创建目录mkdir -p /data/mysql/{da...
【博客680】keepalived的重要garp配置
最新发布
qq_43684922的博客
06-29 842
当我们没有配置keepalived的garp，而使用默认的garp配置的时候，会有一些不够健壮！比如：当keepalived节点切换为master时会发出garp包，但是默认情况下后面不会重复去refresh自己的信息，那么如果这时候sdn网关或者交换机没有学到，那么就有导致流量不通，并且不会再重发，问题将得不到解决。
TCP/IP详解(4,5)ARP和RARP,第四,五章笔记整理
hellokazhang的博客
09-08 3489
1  ARP协议概述　　 　　IP数据包常通过以太网发送,但是以太网设备并不识别32位IP地址,它们是以48位以太网地址传输以太网数据包的。因此，IP驱动器必须把IP目的地址转换成以太网网目的地址。在这两种地址之间存在着某种静态的或算法的映射，常常需要查看一张表。地址解析协议(Address Resolution Protocol，ARP)就是用来确定这些映射关系的协议,位于TCP/IP协议
Keepalived速通常见配置及配置文件介绍
小渣渣的学习与运维日常
06-22 2470
state 指定节点角色为 MASTER，interface 关联了节点使用的网络接口，virtual_router_id 是该虚拟路由器的 ID，priority 是节点的优先级，advert_int 是 VRRP 心跳间隔。在这个例子中，Server A 被配置为主节点（MASTER），它的优先级设置为 100，而 Server B 被配置为备份节点（BACKUP），优先级设置为 50。需要注意的是，以上只是一个简单的示例配置，实际的配置取决于具体的环境需求和架构设计。这样的配置还可以实现负载均衡。
七章——Keepalived双机热备（应用——linux防护与群集）
MKC__jiaoq的博客
09-04 2105
三期总目录链接
Keepalived 设置master故障恢复后不重新抢回VIP(解决nopreempt无效)
热门推荐
大新博客
09-07 2万+
注意：一定先关闭防火墙测试，先能保证测试通过。 如果服务器一定要用防火墙，那么在测试无误后，通过命令运行VRRP路由冗余协议。 允许组播，两台设备上都需要执行 iptables -A INPUT -d 224.0.0.18 -j ACCEPT 或修改：vim /etc/sysconfig/iptables 适当位置添加行： -A INPUT -d 224.0.0.18 -j ACCEPT
测试keepalived备备模式的主从切换过程
weixin_34403693的博客
06-09 451
继续上次“测试keepalived备备模式”的配置后，测试运行状态中主从的切换过程主要是分析优先级的改变过程。（目前的分析不一定正确，且可能片面，后续会更新，仅供参考）优先级priority用P来代替 1、首先： Pa=85 Pb=75 此时Pa>Pb 主=Pa 从=Pb weight=-20 检测脚本（retval）返回0，表示成功，...
基于 keepalived 实现两台机器服务（主备）故障自动切换
nimo10050的博客
02-04 5871
前言 本文要说的是基于 keepalived 实现两台服务器之间的主备切换 。当一台机器的 Java 进程异常关闭，另一台机器能够自动监测到并启动本机的 Java 进程。 keepalived 的工作机制及原理不多做介绍，自行搜索了解，keepalived 的安装部署请参考 keepalived 的安装及使用 。 个人觉得动手实践安装下 keepalived，然后结合 keepalived 的配置...
nginx+keepalived主备切换配置与监控
"本文主要介绍如何使用nginx与keepalived实现主辅切换，以及解决nginx进程监控的问题。" 在IT行业中，高可用性是关键，尤其是对于提供Web服务的服务器。`nginx`是一个广泛使用的高性能HTTP和反向代理服务器，而`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值