Zabbix监控keepalived脑裂

Zabbix监控keepalived脑裂

一、脑裂介绍

在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。

二、预防脑裂的策略

1. 添加冗余的心跳线，例如：双线条线（心跳线也HA），尽量减少“裂脑”发生几率；
2. 启用磁盘锁。正在服务一方锁住共享磁盘，“裂脑”发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动“解锁”，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了“智能”锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。
3. 设置仲裁机制。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅“心跳”、还兼对外“服务”的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源

三、脑裂产生的原因

一般来说，脑裂的发生，有以下几种原因：

• 高可用服务器对之间心跳线链路发生故障，导致无法正常通信
  • 因心跳线坏了（包括断了，老化）
  • 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）
  • 因心跳线间连接的设备故障（网卡及交换机）
  • 因仲裁的机器出问题（采用仲裁的方案）
• 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输
• 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败
• 其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等

注意：

Keepalived配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。

四、脑裂解决方案

1. 心跳机制：在节点之间建立心跳连接，定期发送心跳信号以检测节点的可用性。如果某个节点长时间未收到其他节点的心跳信号，就可以认为发生了脑裂，并采取相应的处理措施。
2. 多数投票机制：在多节点系统中，通过多数投票的方式来决定哪个节点是正常节点。只有当大多数节点都认为某个节点是正常的，才能继续执行任务。这样可以避免脑裂问题的发生。
3. 集群管理软件：使用专门的集群管理软件，如Keepalived、Pacemaker等，来监控和管理集群节点的状态。这些软件可以通过心跳检测、资源管理和故障恢复等机制，自动处理脑裂问题。

当然，在实施高可用方案时，要根据业务实际需求确定是否能容忍这样的损失。对于一般的网站常规业务.这个损失是可容忍的

五、使用zabbix监控脑裂

环境准备：

主机名	IP	环境角色	安装软件	操作系统
zabbix.server.com	192.168.10.130	zabbix服务器	zabbix_server+zabbix_agent	CentOS-8
H1	192.168.10.131	主负载均衡器	haproxy+keepalived	CentOS-8
H2	192.168.10.132	备负载均衡器	haproxy+keepalived+zabbix_agent	CentOS-8

说明：在备负载均衡器上部署zabbix客户端监控这台主机，如果备负载均衡器上出现了VIP则表示主负载均衡器故障或者发生了脑裂，再监控主负载均衡器的VIP有没有消失，如果主备负载均衡器都存在VIP则可以确定发生了脑裂。

在正文内容开始前需要部署一台zabbix的服务端主机，两台配置过keepalived高可用的主机在，主节点上部署zabbix客户端

keepalived高可用部署步骤可参考：

zabbix部署步骤可以参考 ：

zabbix监控部署-CSDN博客

zabbix监控配置流程

zabbix自定义监控-CSDN博客

zabbix监控keepalived

编写自定义监控脚本

[root@H2 scripts]# vim /scripts/keep.sh        #这个脚本的做用是检测VIP是否存在如果存在则打印1如果不存在则打印0
#!/bin/bash
  
if [ `ip a show ens160 |grep 192.168.10.250|wc -l` -ne 0 ];then
    echo "1"
else
    echo "0"
fi

修改zabbix客户端配置文件

[root@H2 ~]# vim /usr/local/etc/zabbix_agentd.conf
......
# Mandatory: no
# Default:
# HostnameItem=system.hostname
UserParameter=keepalived,/bin/bash /scripts/keep.sh    #设置别名
........

重启服务

[root@H2 ~]# systemctl restart zabbix_agentd

先将主服务器上的haproxy服务停掉了，让备服务器把VIP抢过来以便后面测试用

[root@H1 ~]# systemctl stop haproxy
[root@H1 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:e4:b6:ad brd ff:ff:ff:ff:ff:ff
    inet 192.168.10.131/24 brd 192.168.10.255 scope global dynamic noprefixroute ens160
       valid_lft 1319sec preferred_lft 1319sec
    inet6 fe80::20c:29ff:fee4:b6ad/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
[root@H1 ~]# 

[root@H2 scripts]# ip a   #VIP已经被抢过来了
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:6d:a9:3e brd ff:ff:ff:ff:ff:ff
    inet 192.168.10.132/24 brd 192.168.10.255 scope global dynamic noprefixroute ens160
       valid_lft 1376sec preferred_lft 1376sec
    inet 192.168.10.250/32 scope global ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe6d:a93e/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
[root@H2 scripts]# 

在zabbix_server服务器上测试，有结果说明脚本可以正常使用

[root@zabbix_service ~]# zabbix_get -s 192.168.10.132 -k keepalived
1

在zabbix网页上给H2添加监控项

添加触发器

模拟触发脑裂

[root@H2 scripts]# ip a           #H2上出现了VIP
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:6d:a9:3e brd ff:ff:ff:ff:ff:ff
    inet 192.168.10.132/24 brd 192.168.10.255 scope global dynamic noprefixroute ens160
       valid_lft 1083sec preferred_lft 1083sec
    inet 192.168.10.250/32 scope global ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe6d:a93e/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
[root@H2 scripts]# 

报警成功

报警成功