zabbix监控脑裂

最新推荐文章于 2024-03-23 10:14:34 发布
最新推荐文章于 2024-03-23 10:14:34 发布
阅读量82 收藏
点赞数
文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h0021/article/details/118142209
版权

脑裂

当两台高可用服务器在指定的时间内，无法互相检测到对方心跳而各自启动故障转移功能，取得了资源以及服务的所有权，而此时的两台高可用服务器对都还活着并作正常运行，这样就会导致同一个服务在两端同时启动而发生冲突的严重问题，最严重的就是两台主机同时占用一个VIP的地址（类似双端导入概念），当用户写入数据的时候可能会分别写入到两端，这样可能会导致服务器两端的数据不一致或造成数据的丢失，这种情况就称为裂脑，也有的人称之为分区集群或者大脑垂直分隔

脑裂产生的原因

一般来说，脑裂的发生，有以下几种原因：

高可用服务器对之间心跳线链路发生故障，导致无法正常通信 因心跳线坏了（包括断了，老化） 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）
因心跳线间连接的设备故障（网卡及交换机） 因仲裁的机器出问题（采用仲裁的方案） 高可用服务器上开启了
iptables防火墙阻挡了心跳消息传输 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败
其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等 Keepalived配置里同一 VRRP实例如果
virtual_router_id两端参数配置不一致也会导致裂脑问题发生。

脑裂解决方案

在实际生产环境中，我们可以从以下几个方面来防止裂脑问题的发生：

1.同时使用串行电缆和以太网电缆连接，同时用两条心跳线路，这样一条线路坏了，另一个还是好的，依然能传送心跳消息
当检测到裂脑时强行关闭一个心跳节点（这个功能需特殊设备支持，如Stonith、feyce）。相当于备节点接收不到心跳消患，通过单独的线路发送关机命令关闭主节点的电源
2.做好对裂脑的监控报警（如邮件及手机短信等或值班）.在问题发生时人为第一时间介入仲裁，降低损失。例如，百度的监控报警短信就有上行和下行的区别。报警消息发送到管理员手机上，管理员可以通过手机回复对应数字或简单的字符串操作返回给服务器.让服务器根据指令自动处理相应故障，这样解决故障的时间更短。
当然，在实施高可用方案时，要根据业务实际需求确定是否能容忍这样的损失。对于一般的网站常规业务.这个损失是可容忍的。

环境说明

zabbix server192.168.11.136
备keepalived zabbix anget192.168.11.120
主 keepalived192.168.11.137

在zabbix客户端配置keepalived备

[root@localhost ~]# vi /etc/keepalived/keepalived.conf
[root@localhost ~]# dnf -y install keepalived
! Configuration File for keepalived

global_defs {
   router_id lb02
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens160
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 12345678
    }
    virtual_ipaddress {
        192.168.11.119
    }
}

virtual_server 192.168.11.119 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.11.137 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.11.120 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}
[root@localhost ~]# systemctl start keepalived
[root@localhost ~]# systemctl enable keepalived

配置keepalived主

[root@localhost ~]# dnf -y install keepalived
[root@localhost ~]# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb01
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens160
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 12345678
    }
    virtual_ipaddress {
        192.168.11.119
    }
}

virtual_server 192.168.11.119 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.11.137 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.11.120 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}
[root@localhost ~]# systemctl start keepalived
[root@localhost ~]# systemctl enable keepalived

查看vip在哪里

[root@localhost ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:7c:62:57 brd ff:ff:ff:ff:ff:ff
    inet 192.168.11.120/24 brd 192.168.11.255 scope global noprefixroute ens160
       valid_lft forever preferred_lft forever
    inet 192.168.11.119/32 scope global ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fef0:be77/64 scope link 
       valid_lft forever preferred_lft forever
3: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default qlen 1000
    link/ether 52:54:00:f8:0e:33 brd ff:ff:ff:ff:ff:ff
    inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
       valid_lft forever preferred_lft forever
4: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc fq_codel master virbr0 state DOWN group default qlen 1000
    link/ether 52:54:00:f8:0e:33 brd ff:ff:ff:ff:ff:ff


[root@localhost ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:f0:be:77 brd ff:ff:ff:ff:ff:ff
    inet 192.168.11.137/24 brd 192.168.11.255 scope global noprefixroute ens160
       valid_lft forever preferred_lft forever
    inet 192.168.11.119/32 scope global ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fef0:be77/64 scope link 
       valid_lft forever preferred_lft forever
3: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default qlen 1000
    link/ether 52:54:00:f8:0e:33 brd ff:ff:ff:ff:ff:ff
    inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
       valid_lft forever preferred_lft forever
4: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc fq_codel master virbr0 state DOWN group default qlen 1000
    link/ether 52:54:00:f8:0e:33 brd ff:ff:ff:ff:ff:ff

编写监控keppalived脚本

[root@localhost ~]#  mkdir /scripts
[root@localhost ~]# vi /scripts/check_keepalived.sh 
[root@localhost ~]# cat /scripts/check_keepalived.sh 
#!bin/bash
if [ `ip a show ens160 |grep 192.168.11.119|wc -l` -ne 0 ]
then
    echo "1"
else
    echo "0"
fi
[root@localhost ~]# chmod +x /scripts/check_keepalived.sh
[root@localhost ~]# chown -R zabbix.zabbix /scripts/check_keepalived.sh

测试脚本

[root@localhost ~]# su - zabbix -s /bin/bash
su: warning: cannot change directory to /home/zabbix: No such file or directory
[zabbix@localhost root]$ bash /scripts/check_keepalived.sh 
0

修改配置文件，将脚本写入配置文件

[root@localhost ~]#  vi /usr/local/etc/zabbix_agentd.conf
UnsafeUserParameters=1
UserParameter=check_keepalived,/bin/bash /scripts/check_keepalived.sh
[root@localhost ~]#  pkill zabbix
[root@localhost ~]# zabbix_agentd

配置zabbix页面
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
触发验证
修改virtual_router_id两端参数配置

[root@localhost ~]# vim /etc/keepalived/keepalived.conf
virtual_router_id 50

[root@localhost ~]# vim /etc/keepalived/keepalived.conf
 interface ens160
    virtual_router_id 51
    priority 100

[root@localhost ~]# systemctl restart keepalived
[root@localhost ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:42:63:a3 brd ff:ff:ff:ff:ff:ff
    inet 192.168.11.11.120/24 brd 192.168.11.255 scope global dynamic noprefixroute ens160
       valid_lft 1489sec preferred_lft 1489sec
    inet 192.168.11.119/32 scope global ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::1fcc:722e:fbf2:e519/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default qlen 1000
    link/ether 52:54:00:5e:61:e9 brd ff:ff:ff:ff:ff:ff
    inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
       valid_lft forever preferred_lft forever
4: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc fq_codel master virbr0 state DOWN group default qlen 1000
    link/ether 52:54:00:5e:61:e9 brd ff:ff:ff:ff:ff:ff
    
[root@localhost ~]# systemctl restart keepalived
[root@localhost  ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:b4:ec:0b brd ff:ff:ff:ff:ff:ff
    inet 192.168.11.137/24 brd 192.168.11.255 scope global dynamic noprefixroute ens160
       valid_lft 939sec preferred_lft 939sec
    inet6 fe80::bab5:57cc:73a1:f92c/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
           inet 192.168.11.119/32 scope global ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::1fcc:722e:fbf2:e519/64 scope link noprefixroute

在这里插入图片描述

滕佳不聪明
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
zabbix监控脑裂和脑裂的产生和解决方法
B_memory的博客
06-22 358
环境说明 zabbix server 192.168.149.133 备keepalived zabbix anget 192.168.149.139 主 keepalived 192.168.149.152 在zabbix客户端配置keepalived备 [root@anget ~]# dnf -y install keepalived [root@anget ~]# vim /etc/keepalived/keepalived.conf ! Configuration File
脑裂的产生原因与解决办法，zabbix监控脑裂
happy___life的博客
06-23 224
脑裂简介 在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。 　　 对付HA系统“裂脑”的对策，目前达成共识的的大概有以下几条： 添加冗余的心跳线，例如：双线条线
Zabbix监控nginx高可用是否脑裂
sky1791的博客
09-07 429
Zabbix监控nginx高可用是否脑裂 文章目录Zabbix监控nginx高可用是否脑裂1. nginx高可用配置1.1 keepalived安装1.2 在主备机上分别安装nginx1.3 keepalived配置1.4 查看VIP在哪里1.5 keepalived通过脚本来监控nginx负载均衡机的状态1.6 配置keepalived加入监控脚本的配置2. 在备上面配置自定义监控 1. ngi...
Zabbix监控nsfocus防火墙模板
09-27
使用Zabbix监控nsfocus防火墙设备已运行时间，业务端口带宽、CPU、内存以及业务端口状态和会话数，并设置告警触发器、图形。 注意：需更改设备地址、zabbix代理地址、SNMPv3相关账号密码信息后再导入。
zabbix监控山石防火墙
06-05
山石系列zabbix监控模板
zabbix监控山特UPS状态
06-06
通过该模板可以监控山特UPS的电源状态，电量、工作模式等
zabbix监控docker模板
05-25
这个是zabbix监控docker的模板，支持主动和被动模式，使用方法见博文https://blog.csdn.net/qq_36961530/article/details/80448301
zabbix监控科士达UPS模板
06-08
监控科士达UPS状态、电量、温度等
Linux项目之zabbix监控脑裂
DragonYear的博客
08-06 415
环境需求 主机 IP地址 所需服务 zabbix server端 192.168.159.135 lamp、zabbix 主keepalived端 192.168.159.137 keepalived 备keepalived端 192.168.159.144 keepalived、zabbix 1. 配置 配置server端的lamp和zabbix，我这里就不过多阐述了，有疑问可以参考Liunx服务管理之lamp 和Linux监控服务之zabbix 配置主备keepaliv
使用zabbix监控脑裂
的博客
06-22 185
脑裂 在高可用系统中，联系节点“心跳线”断开时，作为整体的高可用系统，分裂为2个独立个体，他们会相互争夺资源。针对无状态服务则还好，有状态服务（如mysql）的高可用，脑裂会损坏数据，则必须防止。 产生的原因 高可用服务器对之间心跳线链路发生故障，导致无法正常通信。 因心跳线坏了（包括断了，老化）。 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。 因心跳线间连接的设备故障（网卡及交换机）。 因仲裁的机器出问题（采用仲裁的方案）。 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。 高
zabbix监控脑裂(1)，【原理+实战+视频+源码】
最新发布
m0_60635321的博客
03-23 688
我们总是喜欢瞻仰大厂的大神们，但实际上大神也不过凡人，与菜鸟程序员相比，也就多花了几分心思，如果你再不努力，差距也只会越来越大。实际上，作为程序员，丰富自己的知识储备，提升自己的知识深度和广度是很有必要的。我们总是喜欢瞻仰大厂的大神们，但实际上大神也不过凡人，与菜鸟程序员相比，也就多花了几分心思，如果你再不努力，差距也只会越来越大。实际上，作为程序员，丰富自己的知识储备，提升自己的知识深度和广度是很有必要的。
zabbix系列：图形（数据）出现断裂原因
NIO4444
05-12 3075
zabbix出现图形（数据）断裂： 网络不稳定 监控设备 iowait server iowait
keepalived高可用之脑裂和zabbix监控脑裂
weixin_47726353的博客
08-06 269
脑裂简介 什么是脑裂 在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。 　　对付HA系统“裂脑”的对策，目前达成共识的的大概有以下几条： 　　　　1）添加冗余的心
脑裂是什么？Zookeeper是如何解决的？
qq_38454699的博客
08-18 625
1、脑裂和假死 1.1 脑裂 官方定义：当一个集群的不同部分在同一时间都认为自己是活动的时候，我们就可以将这个现象称为脑裂症状。通俗的说，就是比如当你的 cluster 里面有两个结点，它们都知道在这个 cluster 里需要选举出一个 master。那么当它们两之间的通信完全没有问题的时候，就会达成共识，选出其中一个作为 master。但是如果它们之间的通信出了问题，那么两个结点都会觉得现在没有 master，所以每个都把自己选举成 master。于是 cluster 里面就会有两个 master。举
脑裂问题与解决（keepalived脑裂的解决和预防）
热门推荐
王大雏的博客
08-18 1万+
脑裂问题与解决（keepalived脑裂的解决和预防）一、keepalived脑裂二、什么是裂脑？三、keepalived脑裂产生的原因四、常见的解决方案五、解决keepalived脑裂问题六、曾经碰到的一个keepalived脑裂的问题七、预防keepalived脑裂问题八、推荐自己写脚本 一、keepalived脑裂 Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作
Keepalived如何解决脑裂问题
Zijian Su的博客
06-25 2101
作者：灯下黑 链接：https://www.zhihu.com/question/50997425/answer/136178424 可以采用第三方仲裁的方法。由于keepalived体系中主备两台机器所处的状态与对方有关。如果主备机器之间的通信出了网题，就会发生脑裂，此时keepalived体系中会出现双主的情况，产生资源竞争。一般可以引入仲裁来解决这个问题，即每个节点必须判断自身的状态。最简单的一种操作方法是，在主备的keepalived的配置文件中增加check配置，服务器周期性地ping一下网关，如
keepalived中的脑裂
惨绿少年 | 欢迎访问CLSN博客站点 http://clsn.io
10-28 373
    在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的...
keepalived高可用服务总结
qq_45837591的博客
05-31 655
目录 一、 高可用服务介绍说明 二、keepalived的重要功能 三、 高可用keepalived服务部署流程 四、 高可用服务企业应用 1）高可用服务常见异常问题---脑裂问题 2）如何实现keepalived服务自动释放vip地址资源 3） 如何高可用集群双主配置 4）高可用服务安全访问配置(负载均衡服务)（lb01和lb02均需配置） 五、 keepalived服务总结 一、 高可用服务介绍说明 作用：避免负载均衡服务出现单点问题 keepalived软件起...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值