keepalived-脑裂

最新推荐文章于 2023-12-02 21:15:51 发布
最新推荐文章于 2023-12-02 21:15:51 发布
阅读量212 收藏 2
点赞数
分类专栏： Linux服务管理 文章标签： centos 运维 zabbix
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mzh_CSDN/article/details/107832968
版权

keepalived-脑裂

文章目录

1. 什么是脑裂

在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。
　　
对付HA系统“裂脑”的对策，目前达成共识的的大概有以下几条：

  • 添加冗余的心跳线，例如：双线条线（心跳线也HA），尽量减少“裂脑”发生几率；
  • 启用磁盘锁。正在服务一方锁住共享磁盘，“裂脑”发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动“解锁”，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了“智能”锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。
  • 设置仲裁机制。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅“心跳”、还兼对外“服务”的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源

2. 脑裂产生的原因

一般来说，脑裂的发生，有以下几种原因：

  • 高可用服务器对之间心跳线链路发生故障，导致无法正常通信
    • 因心跳线坏了（包括断了，老化）
    • 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）
    • 因心跳线间连接的设备故障（网卡及交换机）
    • 因仲裁的机器出问题（采用仲裁的方案）
  • 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输
  • 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败
  • 其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等

注意：

Keepalived配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。

3. 脑裂的常见解决方案

在实际生产环境中，我们可以从以下几个方面来防止裂脑问题的发生：

  • 同时使用串行电缆和以太网电缆连接，同时用两条心跳线路，这样一条线路坏了，另一个还是好的，依然能传送心跳消息
  • 当检测到裂脑时强行关闭一个心跳节点（这个功能需特殊设备支持，如Stonith、feyce）。相当于备节点接收不到心跳消患，通过单独的线路发送关机命令关闭主节点的电源
  • 做好对裂脑的监控报警（如邮件及手机短信等或值班）.在问题发生时人为第一时间介入仲裁，降低损失。例如，百度的监控报警短信就有上行和下行的区别。报警消息发送到管理员手机上，管理员可以通过手机回复对应数字或简单的字符串操作返回给服务器.让服务器根据指令自动处理相应故障，这样解决故障的时间更短.
    　　
    当然，在实施高可用方案时，要根据业务实际需求确定是否能容忍这样的损失。对于一般的网站常规业务.这个损失是可容忍的

4. 对脑裂进行监控

对脑裂的监控应在备用服务器上进行，通过添加zabbix自定义监控进行。
监控什么信息呢？监控备上有无VIP地址

备机上出现VIP有两种情况：

  • 发生了脑裂
  • 正常的主备切换

监控只是监控发生脑裂的可能性，不能保证一定是发生了脑裂，因为正常的主备切换VIP也是会到备上的。

由于zabbix监控依赖于lamp架构，所以不仅要部署zabbix，还要搭建lamp架构。

详情请参考：

lamp部署

zabbix部署、zabbix配置

监控脑裂首先你得部署了keepalived服务，详情请参考：keepalived

5. zabbix监控部署

环境说明

系统信息主机名IP安装的服务
centos7master172.168.39.128keepalived
centos7salve172.168.39.129keepalived
zabbix agent
centos7zabbix172.168.39.130lamp架构
zabbix server
zabbix agent

zabbix配置

5.1 创建主机组

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2 创建监控主机

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.3 添加模版

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.4添加监控项

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.5 添加触发器

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.6 创建监控脚本

//编辑slave的zabbix配置文件
[root@slave ~]# vim /usr/local/etc/zabbix_agentd.conf
//搜索Unsafe并添加以下内容
# UnsafeUserParameters=0
UnsafeUserParameters=1    //添加该行
......
# Mandatory: no
# Default:
# UserParameter=
UserParameter=check_keepalived,/bin/bash /scripts/check_keepalived.sh    //添加该行

//添加监控脚本
[root@slave ~]# vim /scripts/check_keepalived.sh
#!/bin/bash

if [ `ip a show ens33 |grep 172.16.39.250|wc -l` -ne 0 ]
then
    echo "1"
else
    echo "0"
fi

[root@slave ~]# chmod +x /scripts/check_keepalived.sh

//重启服务
[root@slave ~]# pkill zabbix
[root@slave ~]# zabbix_agentd

//在服务端测试一下
[root@zabbix ~]# zabbix_get -s 172.16.39.129 -k check_keepalived
0

[root@slave ~]# ip a    //没有VIP就输出0说明脚本没有问题
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:d6:99:52 brd ff:ff:ff:ff:ff:ff
    inet 172.16.39.129/24 brd 172.16.39.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fed6:9952/64 scope link 
       valid_lft forever preferred_lft forever

5.7 添加媒介

通过脚本用系统账户发送邮件

//在zabbix服务端安装mailx
[root@zabbix ~]# yum -y install mailx
[root@zabbix ~]# vim /usr/local/etc/zabbix_server.conf
//搜索script
# Mandatory: no
# Default:
# AlertScriptsPath=${datadir}/zabbix/alertscripts
AlertScriptsPath=/usr/local/etc/zabbix/alertscripts    //添加此行

[root@zabbix ~]# mkdir -p /usr/local/etc/zabbix/alertscripts
[root@zabbix ~]# chown -R zabbix.zabbix /usr/local/etc/zabbix
[root@zabbix ~]# touch /usr/local/etc/zabbix/alertscripts/sendmail.sh
[root@zabbix ~]# vim /usr/local/etc/zabbix/alertscripts/sendmail.sh
//添加以下内容
#!/bin/bash

SUBJECT=$(echo -e $2)
MESSAGE=$(echo -e $1)

echo "$MESSAGE" | /usr/bin/mail -s "$SUBJECT" $3

[root@zabbix ~]# chmod +x /usr/local/etc/zabbix/alertscripts/sendmail.sh

//重启服务
[root@zabbix ~]# pkill zabbix
[root@zabbix ~]# zabbix_server 
[root@zabbix ~]# zabbix_agentd

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.8 添加动作

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
到这里zabbix监控keepalived配置完成了

6. 监控测试

停止master的httpd服务

[root@master ~]# systemctl stop httpd
[root@master ~]# ss -antl
State      Recv-Q Send-Q         Local Address:Port                        Peer Address:Port              
LISTEN     0      128                        *:22                                     *:*                  
LISTEN     0      100                127.0.0.1:25                                     *:*                  
LISTEN     0      128                     [::]:22                                  [::]:*                  
LISTEN     0      100                    [::1]:25                                  [::]:* 
[root@master ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:b2:37:ea brd ff:ff:ff:ff:ff:ff
    inet 172.16.39.128/24 brd 172.16.39.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:feb2:37ea/64 scope link 
       valid_lft forever preferred_lft forever

slave的状态

[root@slave ~]# ss -antl
State      Recv-Q Send-Q         Local Address:Port                        Peer Address:Port              
LISTEN     0      128                        *:22                                     *:*                  
LISTEN     0      100                127.0.0.1:25                                     *:*                  
LISTEN     0      128                        *:10050                                  *:*                  
LISTEN     0      128                     [::]:80                                  [::]:*                  
LISTEN     0      128                     [::]:22                                  [::]:*                  
LISTEN     0      100                    [::1]:25                                  [::]:*                  
[root@slave ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:d6:99:52 brd ff:ff:ff:ff:ff:ff
    inet 172.16.39.129/24 brd 172.16.39.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 172.16.39.250/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fed6:9952/64 scope link 
       valid_lft forever preferred_lft forever

查看zabbix的web监控界面
在这里插入图片描述

查看邮箱
在这里插入图片描述

Mzh_CSDN
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分析并解决keepalived脑裂导致20min中断事故
05-27
分析并解决keepalived脑裂导致20min中断事故
keepalived脑裂
wdirdo的博客
11-11 878
keepalived脑裂 什么是脑裂？ 脑裂（split-brain）：指在一个高可用（HA）集群中，当联系着的两个节点断开联系时，本来为一个整体的系统，分裂为两个独立节点，这时两个节点开始争抢共享资源，结果会导致系统混乱，数据损坏。 注：对有状态服务(比如MySQL)的HA，必须要严格防止脑裂。 keepalived脑裂 在keepalived集群中，backup node与master no...
keepalived的脑裂问题
IChen.的博客
07-17 2114
1、什么是脑裂 脑裂（split-brain）：指在一个高可用（HA）系统中，当联系着的两个节点断开联系时，本来为一个整体的系统，分裂为两个独立节点，这时两个节点开始争抢共享资源，结果会导致系统混乱，数据损坏。 对于无状态服务的HA，无所谓脑裂不脑裂；但对有状态服务(比如MySQL)的HA，必须要严格防止脑裂。 2、解决keepalived脑裂问题 检测思路：正常情况下keepalived的VIP地址是在主节点上的，如果在从节点发现了VIP，就设置报警信息。脚本（在从节点上）如下： vim split-br
【LVS实战】05 keepalived脑裂问题解决方案
最新发布
程序员笔记
12-02 1526
脑裂（split-brain）：指在一个高可用（HA）系统中，当联系着的两个节点断开联系时，本来为一个整体的系统，分裂为两个独立节点，这时两个节点开始争抢共享资源，结果会导致系统混乱，数据损坏。对于无状态服务的HA，无所谓脑裂不脑裂；但对有状态服务(比如MySQL)的HA，必须要严格防止脑裂。那么keepalived是如何解决或者防止脑裂问题的？
脑裂问题与解决（keepalived脑裂的解决和预防）
热门推荐
王大雏的博客
08-18 1万+
脑裂问题与解决（keepalived脑裂的解决和预防）一、keepalived脑裂二、什么是裂脑？三、keepalived脑裂产生的原因四、常见的解决方案五、解决keepalived脑裂问题六、曾经碰到的一个keepalived脑裂的问题七、预防keepalived脑裂问题八、推荐自己写脚本 一、keepalived脑裂 Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作
keepalived面试题
01-03
Keepalived 通过 VRRP 协议来避免脑裂现象的发生。 五、VRRP 的优势 VRRP 协议具有以下优势： * 高可用性：VRRP 可以实现高可用性故障切换转移，确保系统的连续性。 * 可扩展性：VRRP 可以支持多台路由器的集群...
DRBD+MYSQL+keepalived
03-04
### DRBD+MySQL+Keepalived 部署详解 #### 一、环境描述 本文档详细介绍了一种基于DRBD（Distributed Replicated Block Device）与Keepalived结合的高可用MySQL集群部署方案。该方案旨在通过DRBD实现数据同步复制...
Keepalived+GlusterFS多机热备集群方案
07-08
通过keepalived，实现多台GlusterFS高可用的存储配置方案。2个节点的GlusterFS无法避免脑裂问题，多台GlusterFS如何提供统一的挂载服务，通过该技术方案，完美的实现了VIP方式的高可用的GlusterFS存储方案。
Keepalived+HAProxy配置高可用负载均衡,解决keepalived无法安装问题
03-15
### Keepalived与HAProxy构建高可用负载均衡系统 #### 一、背景介绍 在现代互联网应用中，为了确保服务的稳定性和可用性，通常采用负载均衡技术来分散请求到多台服务器上处理。其中，Keepalived 和 HAProxy 是构建...
LVS——keepalived脑裂的解决和预防
HD243608836的博客
01-10 1409
当两台高可用服务器在指定的时间内，无法互相检测到对方心跳而各自启动故障转移功能，取得了资源以及服务的所有权，而此时的两台高可用服务器对都还活着并作正常运行，这样就会导致同一个服务在两端同时启动而发生冲突的严重问题，最严重的就是两台主机同时占用一个VIP的地址（类似双端导入概念），当用户写入数据的时候可能会分别写入到两端，这样可能会导致服务器两端的数据不一致或造成数据的丢失，这种情况就称为裂脑，也有的人称之为分区集群或者大脑垂直分隔。
keepalived中的脑裂
惨绿少年 | 欢迎访问CLSN博客站点 http://clsn.io
10-28 375
    在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的...
Keepalived--05--脑裂问题
zhou920786312的博客
08-10 1027
一、问题 1.1、 场景（高可用） 在高可用（HA）系统中，当联系2个节点的"心跳线"断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像"裂脑人"一样，争抢"共享资源"、争起"应用服务"，就会发生严重后果——或者共享资源被瓜分、2边"服务"都起不来了；或者2边"服务"都起来了，但同时读写"共享存储"，导致数据损坏（常见如数据库轮询着的联机日志出错）。 1.2、 场景2（主备模式） 假设节点A和B组成主备关系，A为备用节点，B为
keepalived高可用|keepalived脑裂问题|keepalived非抢占式
weixin_46407419的博客
01-10 618
keepalived高可用 什么是高可用 一般是指2台机器启动着完全相同的业务系统，当有一台机器down机了，另外一台服务器就能快速的接管，对于访问的用户是无感知的。 比如公司的网络是通过网关进行上网的，那么如果该路由器故障了，网关无法转发报文了，此时所有人都无法上网了，怎么办？ 通常做法是给路由器增加一台备节点，但是问题是，如果我们的主网关master故障了，用户是需要手动指向backup...
keepalived脑裂问题
jingzhiz 专属移动笔记
11-23 201
一、对脑裂的理解 　　在高可用(HA)系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果，或者共享资源被瓜分、两边“服务”都起不来了；或两边“服务”都起来了，但同时读写“共享存储”，导致数据损坏(常见如数据库轮询着...
keepalived脑裂及解决办法
weixin_43557605的博客
01-16 4566
1. keepalived脑裂 在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如...
Keepalived 脑裂问题的起因与解决
小楼一夜听春雨，深巷明朝卖杏花
07-28 8132
Keepalived脑裂 脑裂（split-brain）：指在一个高可用（HA）系统中，当联系着的两个节点断开联系时，本来为一个整体的系统，分裂为两个独立节点，这时两个节点开始争抢共享资源，结果会导致系统混乱，数据损坏。对于无状态服务的HA，无所谓脑裂不脑裂；但对有状态服务(比如MySQL)的HA，必须要严格防止脑裂。 在高可用HA系统中，当联系2个节点的“心跳线”断开时，本来为一整体，一个VRRP协议组，动作协调的HA系统，就分裂为两个独立的个体。由于相互失去了联系，都以为对方出了故障；两个节点的..
集群基础7——keepalived脑裂
百慕卿君博客
07-16 353
keepalived脑裂解决思路
keepalived的脑裂
11-30
keepalived脑裂是指在keepalived集群中，由于网络或其他原因，导致集群中的两个或多个节点之间失去联系，从而导致集群中的多个节点同时认为自己是主节点，进而导致服务异常或不可用的问题。这种情况下，需要采取措施...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值