zabbix监控脑裂

于 2023-10-16 02:53:49 发布
阅读量62 收藏
点赞数
文章标签： zabbix 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65079526/article/details/133850460
版权

zabbix监控脑裂

脑裂简介

​ 脑裂（Split Brain）是指在分布式系统中，由于网络故障或其他原因导致系统节点之间失去通信，导致节点之间无法协调工作，出现分裂的情况。这种情况下，系统无法保证一致性和可靠性，可能会导致数据冲突、数据丢失或系统崩溃等问题。
​ 脑裂问题通常发生在具有冗余节点的高可用系统中，例如集群、HA（高可用性）系统或分布式数据库系统。当节点之间失去联系时，每个节点可能会认为自己是唯一的正常节点，继续独立地执行任务，这就导致了数据不一致和冲突。

脑裂产生原因

  1. 网络故障：网络是分布式系统节点之间通信的基础，当网络出现故障时，节点之间无法正常通信，导致脑裂问题的发生。网络故障可能包括网络断开、网络延迟、网络拥塞等情况。
  2. 节点故障：分布式系统中的节点可能由于硬件故障、软件故障或其他原因而发生故障，导致节点无法正常工作或无法与其他节点通信。这也会导致脑裂问题的发生。
  3. 节点间消息丢失：在分布式系统中，节点之间通过消息传递进行通信和协调工作。如果由于网络故障或其他原因导致节点之间的消息丢失，就会导致节点无法及时获得其他节点的状态信息，从而产生脑裂问题。
  4. 配置错误：在配置分布式系统时，如果配置错误或不一致，可能会导致节点之间无法正常通信或无法达成共识，从而导致脑裂问题的发生。

脑裂解决方案

  1. 心跳机制：在节点之间建立心跳连接，定期发送心跳信号以检测节点的可用性。如果某个节点长时间未收到其他节点的心跳信号，就可以认为发生了脑裂，并采取相应的处理措施。
  2. 多数投票机制：在多节点系统中，通过多数投票的方式来决定哪个节点是正常节点。只有当大多数节点都认为某个节点是正常的，才能继续执行任务。这样可以避免脑裂问题的发生。
  3. 集群管理软件：使用专门的集群管理软件，如Keepalived、Pacemaker等，来监控和管理集群节点的状态。这些软件可以通过心跳检测、资源管理和故障恢复等机制，自动处理脑裂问题。

环境准备：

主机名ip地址环境说明
controller192.168.200.10zabbix_server
h2（备服务器）192.168.200.20keepalived，haproxy，zabbix_agent
h1（主服务器）192.168.200.40keepalived，haproxy

主备服务器的VIP为：192.168.200.250

zabbix部署

zabbix服务端的部署请参考：zabbix监控部署-CSDN博客

zabbix客户端的部署请参考：zabbix监控配置流程-CSDN博客

zabbix自定义监控请参考：zabbix自定义监控-CSDN博客

zabbix监控keepalived

编写自定义监控脚本

[root@h2 ~]# vim /scripts/keep.sh
[root@h2 ~]# cat /scripts/keep.sh
#!/bin/bash

if [ `ip a show ens33 |grep 192.168.200.250|wc -l` -ne 0 ];then
    echo "0"
else
    echo "1"
fi
[root@h2 ~]# 
[root@h2 ~]# chmod +x /scripts/keep.sh 
[root@h2 ~]# 
[root@h2 ~]# ll /scripts/
total 8
-rwxr-xr-x. 1 root root 107 Oct 16 00:28 keep.sh
-rwxr-xr-x. 1 root root 440 Oct 15 20:29 notify.sh
[root@h2 ~]#

修改zabbix客户端配置文件，重启服务

[root@h2 ~]# vi /usr/local/etc/zabbix_agentd.conf 
...
### Option: UserParameter
#       User-defined parameter to monitor. There can be several user-defined parameters.
#       Format: UserParameter=<key>,<shell command>
#       See 'zabbix_agentd' directory for examples.
#
# Mandatory: no
# Default:
# UserParameter=
UserParameter=keepalived,/bin/bash /scripts/keep.sh
...
[root@h2 ~]# systemctl restart zabbix_agentd

先将主服务器上的haproxy服务停掉了，让备服务器把VIP抢过来以便后面测试用

[root@h2 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:18:11:8c brd ff:ff:ff:ff:ff:ff
    inet 192.168.200.20/24 brd 192.168.200.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 192.168.200.250/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe18:118c/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
[root@h2 ~]#

在zabbix_server服务器上测试，有结果说明脚本可以正常使用

[root@controller ~]# zabbix_get -s 192.168.200.20 -k keepalived
0
[root@controller ~]#

访问zabbix网页

由于本人之前添加过主机，在原有的基础上修改一下就行，如果没有主机需要先添加主机再做后面的操作

image-20231016012403671

添加keepalived监控项

image-20231016012747296

监控项添加成功

image-20231016014620767

添加keepalived触发器

添加触发内容，选择报警等级

image-20231016013345157

自定义触发规则，当测试结果等于1时触发报警

image-20231016014031409

点击Add

image-20231016014100176

触发器添加成功

image-20231016014704775

测试

将主服务器上的haproxy服务开启，手动触发报警

[root@h1 ~]# systemctl start haproxy     
[root@h1 ~]# 
[root@h1 ~]# systemctl start keepalived    
[root@h1 ~]# 
[root@h1 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:d7:d0:09 brd ff:ff:ff:ff:ff:ff
    inet 192.168.200.40/24 brd 192.168.200.255 scope global noprefixroute ens160
       valid_lft forever preferred_lft forever
    inet 192.168.200.250/32 scope global ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::476a:4ab2:8e04:8416/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
[root@h1 ~]#

当主服务器开启haproxy服务后，备服务器的VIP已经被主服务器抢了回去，报警就会触发

[root@h2 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:18:11:8c brd ff:ff:ff:ff:ff:ff
    inet 192.168.200.20/24 brd 192.168.200.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe18:118c/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
[root@h2 ~]#

报警已触发

image-20231016015026829

这linux不学也罢
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
ZooKeeper的原子广播（ZAB协议）
大米瓶子的博客
07-10 1万+
ZooKeeper作为高可用的一致性协调框架，自然有着一致性算法的实现，ZooKeeper使用的是ZAB协议作为数据一致性的算法，即ZAB（ZooKeeper Atomic Broadcast ）。ZAB在Paxos算法上做了重要改造，和Paxos有着明显的不同。为讨论ZAB，我们假定ZooKeeper已经开启仲裁模式（ZooKeeper还有一种独立模式，除实验需求以外不要开，因为它无法避免脑裂）
面试题：Zookeeper是如何解决脑裂问题
u013374645的博客
06-20 1万+
前言 这是分布式系统中一个很实际的问题，书上说的不是很详细，整理总结一下。 1、脑裂和假死 1.1 脑裂 官方定义：当一个集群的不同部分在同一时间都认为自己是活动的时候，我们就可以将这个现象称为脑裂症状。通俗的说，就是比如当你的 cluster 里面有两个结点，它们都知道在这个 cluster 里需要选举出一个 master。那么当它们两之间的通信完全没有问题的时候，就会达成共识，选出其中...
分布式⼀致性算法Paxos、Raft、Zab、2CP以及脑裂问题
qq_26993175的博客
05-11 1166
一、什么是分布式系统 定义：分布式系统是支持分布式处理的软件系统，是由通信网络互联的多处理机体系结构上执行任务的系统。 简单来说：⼀个业务分拆多个⼦业务，落地成不同的服务，将各个服务部署在不同的容器上。各个服务之间通过某种协议通信交互。 而分布式系统的通信，会涉及到交流协作问题。也就会涉及到CAP问题。 1、CAP原理 CAP定理叫作布鲁尔定理，⼀个分布式系统最多只能同时满⾜⼀致性（Consistency）、可⽤性（Availability）和分区容错性（Partition tolerance）这三项中的两
脑裂是什么？Zookeeper是如何解决的？
weixin_30339969的博客
07-23 2422
什么是脑裂 脑裂(split-brain)就是“大脑分裂”，也就是本来一个“大脑”被拆分了两个或多个“大脑”，我们都知道，如果一个人有多个大脑，并且相互独立的话，那么会导致人体“手舞足蹈”，“不听使唤”。 脑裂通常会出现在集群环境中，比如ElasticSearch、Zookeeper集群，而这些集群环境有一个统一的特点，就是它们有一个大脑，比如ElasticSearch集群中有Master节点，Z...
浅谈hadoop脑裂问题
数据猿+的博客
07-21 4002
1.什么是脑裂： 脑裂是Hadoop2.X版本后出现的全新问题，从字面意思我们可以理解为“大脑分裂”；我们想一下，当一个正常人，突然出现有了两个大脑，而且这两个大脑都有自己的意识，对于这个人来说肯定是灾难性问题。同理，在Hadoop中，为了防止单点失效问题而出现了两个namenode（HA机制），这两个namenode正常情况下是起到一个失效，另一个代替的作用，但在实际运行过程中很有可能出现两个...
Zabbix监控nsfocus防火墙模板
09-27
使用Zabbix监控nsfocus防火墙设备已运行时间，业务端口带宽、CPU、内存以及业务端口状态和会话数，并设置告警触发器、图形。 注意：需更改设备地址、zabbix代理地址、SNMPv3相关账号密码信息后再导入。
zabbix监控山石防火墙
06-05
山石系列zabbix监控模板
zabbix监控山特UPS状态
06-06
通过该模板可以监控山特UPS的电源状态，电量、工作模式等
zabbix监控docker模板
05-25
这个是zabbix监控docker的模板，支持主动和被动模式，使用方法见博文https://blog.csdn.net/qq_36961530/article/details/80448301
zabbix监控科士达UPS模板
06-08
监控科士达UPS状态、电量、温度等
PAXOS VS ZAB
zhang_shuai_2011的专栏
07-24 9825
晒昔日的“散片”记 我们已经在上面的分析中，我们已经看到observer模型在多机场景下的问题，所以，paxos模型的目标就是解决这个问题，他解决这个问题的方法就是quorum模型。 我的目标是让大家能弄明白，掌握这些复杂的概念，所以我也会将以前我在淘宝java中间件团队内分享时候，大家经常犯的一些错误，也写到【】里面，尽可能让大家少走弯路，如果有什么感想，疑问，后
Zookeeper脑裂以及解决办法
多拉C梦
12-10 3693
脑裂 一般脑裂都是出现在集群环境中的。指的是一个集群环境中出现了多个master节点（类似zookeeper的master、elasticsearch的master节点），导致严重数据问题，数据不一致等等。 出现的原因：可能就是网络环境有问题如断开，假死等等，导致一部分slave节点会重新进入崩坏恢复模式，重新选举新的master节点，然后对外提供事务服务。 例如机房A和机房B通信，一个6个节点...
ZooKeeper的脑裂的出现和解决方案
kenan2012的博客
06-23 1万+
出现：       在搭建hadoop的HA集群环境后，由于两个namenode的状态不一，当active的namenode由于网络等原因出现假死状态，standby接收不到active的心跳，因此判断active的namenode宕机，但实际上active并没有死亡。此时standby的namenode就会切换成active的状态，保证服务能够正常使用。若原来的namenode复活，此时在整个集...
zookeeper脑裂问题及解决办法
a024681012的专栏
01-06 834
一般脑裂都是出现在集群环境中的。指的是一个集群环境中出现了多个master节点（类似zookeeper的master、elasticsearch的master节点），导致严重数据问题，数据不一致等等。 出现的原因：可能就是网络环境有问题如断开，假死等等，导致一部分slave节点会重新进入崩坏恢复模式，重新选举新的master节点，然后对外提供事务服务。 下图是一个正常的Zookeeper集群，由7个节点组成。其中有1个Leader A和6个Follower。 当网络发送故障时，Foll..
ZooKeeper 03 - ZooKeeper集群的脑裂问题 (Split Brain问题)
weixin_30879833的博客
12-08 221
目录 1 ZooKeeper的主从机制 2 什么是ZooKeeper的脑裂 2.1 脑裂现象的表现 2.2 为什么会出现脑裂 3 ZooKeeper如何解决"脑裂" 3.1 3种可行的思路 3.2 ZooKeeper采用的方法 ...
zookeeper脑裂解决方案总结
varyall的专栏
05-01 8696
zookeeper脑裂解决方案：避免这种情况其实也很简单，在slaver切换的时候不在检查到老的master出现问题后马上切换，而是在休眠一段足够的时间，确保老的master已经获知变更并且做了相关的shutdown清理工作了然后再注册成为master就能避免这类问题了，这个休眠时间一般定义为与zookeeper定义的超时时间就够了，但是这段时间内系统可能是不可用的，但是相对于数据不一致的后果我想...
zookeeper 容错，脑裂 ，选举
沉在水底的鱼的博客
05-27 985
一.选择机制中的概念 服务器ID 比如有三台服务器，编号分别是1,2,3。 编号越大在选择算法中的权重越大。 数据ID 服务器中存放的最大数据ID. 值越大说明数据越新，在选举算法中数据越新权重越大。 逻辑时钟 或者叫投票的次数，同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加，然后与接收到的其它服务器返回的投票信息中的数值相比，根据不同的值做出不同的判断...
Zookeeper已经分布式环境中的假死脑裂
热门推荐
u010185262的博客
11-18 2万+
Zookeeper简介在上班之前都不知道有这样一个东西，在开始说假死脑裂之前先说说Zookeeper吧。Zookeeper zookeeper是一个分布式应用程序的协调服务。它是一个为分布式应用提供一致性服务的软件，提供的性能包括：配置维护、名字服务、分布式同步、组服务等。 zookeeper是以Fast Paxos算法为基础，paxos算法存在活锁的问题，即当有多个proposer交错提交时，
谈谈应用Zookeeper选主的脑裂问题
keyboard2000
06-08 1402
HDFS的NameNode使用主备架构实现高可用，主备选举通过zookeeper作协调器实现。选举由zkfc组件（zkfc与NameNode同一台机器，属于两个不同的进程）发起，选主流程：会尝试在 Zookeeper上创建一个路径为/hadoop-ha/${dfs.nameservices}/ActiveStandbyElectorLock 的临时节点，Zookeeper 的写一致性会保证最终只会...
zabbix监控keeplived脑裂
最新发布
06-12
在使用Zabbix监控keeplived脑裂时，可以按照以下步骤进行： 1. 首先需要在Zabbix中创建一个新的主机，用于监控keeplived。 2. 在该主机上安装Zabbix agent，并将其配置为监听keeplived的状态信息。 3. 创建一个新...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这linux不学也罢

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值