Zabbix监控keepalived脑裂

Zabbix监控keepalived脑裂

脑裂产生的原因

一般来说，脑裂的发生，有以下几种原因：

• 高可用服务器对之间心跳线链路发生故障，导致无法正常通信

• 因心跳线坏了（包括断了，老化）

• 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）

• 因心跳线间连接的设备故障（网卡及交换机）

• 因仲裁的机器出问题（采用仲裁的方案）

• 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输

• 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败

• 其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等

注意
Keepalived配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。

脑裂的常见解决方案

在实际生产环境中，我们可以从以下几个方面来防止裂脑问题的发生：

• 同时使用串行电缆和以太网电缆连接，同时用两条心跳线路，这样一条线路坏了，另一个还是好的，依然能传送心跳消息
• 当检测到裂脑时强行关闭一个心跳节点（这个功能需特殊设备支持，如Stonith、feyce）。相当于备节点接收不到心跳消患，通过单独的线路发送关机命令关闭主节点的电源
• 做好对裂脑的监控报警（如邮件及手机短信等或值班）.在问题发生时人为第一时间介入仲裁，降低损失。例如，百度的监控报警短信就有上行和下行的区别。报警消息发送到管理员手机上，管理员可以通过手机回复对应数字或简单的字符串操作返回给服务器.让服务器根据指令自动处理相应故障，这样解决故障的时间更短.

当然，在实施高可用方案时，要根据业务实际需求确定是否能容忍这样的损失。对于一般的网站常规业务.这个损失是可容忍的

环境

主机名	IP	安装
master	192.168.147.10	keepalived
slave	192.168.147.66	keepalived、zabbix-agentd
zabbix端	192.168.147.44	lamp、zabbix-server、zabbix-agentd
VIP	192.168.147.100

安装

zabbix安装
keepalived安装

[root@za ~]# zabbix_server 
[root@za ~]# zabbix_agentd
[root@za ~]# ss -antl
State      Recv-Q     Send-Q         Local Address:Port           Peer Address:Port     Process     
LISTEN     0          128                  0.0.0.0:111                 0.0.0.0:*                    
LISTEN     0          32             192.168.122.1:53                  0.0.0.0:*                    
LISTEN     0          128                  0.0.0.0:22                  0.0.0.0:*                    
LISTEN     0          5                  127.0.0.1:631                 0.0.0.0:*                    
LISTEN     0          128                  0.0.0.0:10050