zabbix监控脑裂和脑裂的产生和解决方法

脑裂

当两台高可用服务器在指定的时间内，无法互相检测到对方心跳而各自启动故障转移功能，取得了资源以及服务的所有权，而此时的两台高可用服务器对都还活着并作正常运行，这样就会导致同一个服务在两端同时启动而发生冲突的严重问题，最严重的就是两台主机同时占用一个VIP的地址（类似双端导入概念），当用户写入数据的时候可能会分别写入到两端，这样可能会导致服务器两端的数据不一致或造成数据的丢失，这种情况就称为裂脑，也有的人称之为分区集群或者大脑垂直分隔

脑裂产生的原因

一般来说，脑裂的发生，有以下几种原因：

高可用服务器对之间心跳线链路发生故障，导致无法正常通信 因心跳线坏了（包括断了，老化） 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）
因心跳线间连接的设备故障（网卡及交换机） 因仲裁的机器出问题（采用仲裁的方案） 高可用服务器上开启了
iptables防火墙阻挡了心跳消息传输 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败
其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等 Keepalived配置里同一 VRRP实例如果
virtual_router_id两端参数配置不一致也会导致裂脑问题发生。

脑裂解决方案

在实际生产环境中，我们可以从以下几个方面来防止裂脑问题的发生：

1.同时使用串行电缆和以太网电缆连接，同时用两条心跳线路，这样一条线路坏了，另一个还是好的，依然能传送心跳消息
当检测到裂脑时强行关闭一个心跳节点（这个功能需特殊设备支持，如Stonith、feyce）。相当于备节点接收不到心跳消患，通过单独的线路发送关机命令关闭主节点的电源
2.做好对裂脑的监控报警（如邮件及手机短信等或值班）.在问题发生时人为第一时间介入仲裁，降低损失。例如，百度的监控报警短信就有上行和下行的区别。报警消息发送到管理员手机上，管理员可以通过手机回复对应数字或简单的字符串操作返回给服务器.让服务器根据指令自动处理相应故障，这样解决故障的时间更短。
当然，在实施高可用方案时，要根据业务实际需求确定是否能容忍这样的损失。对于一般的网站常规业务.这个损失是可容忍的。

环境说明

zabbix server	192.168.149.133
备keepalived zabbix anget	192.168.149.139
主 keepalived	192.168.149.152

在zabbix客户端配置keepalived备

[root@anget ~]# dnf -y install keepalived
[root@anget ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   
   router_id lb02
}

vrrp_instance VI_1 {
   
    state BACKUP
    interface ens160
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
   
        auth_type PASS
        auth_pass xialuo12
    }
    virtual_ipaddress {
   
        192.168.149.144
    }
}

virtual_server 192.168.149.144 80 {
   
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.149.152 80 {
   
        weight 1
        TCP_CHECK {
   
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.149.139 80 {
   
        weight 1
        TCP_CHECK {
   
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}
[root@anget ~]# systemctl start keepalived
[root@anget ~]