Zookeeper一次故障处理

最新推荐文章于 2024-05-15 10:19:42 发布
最新推荐文章于 2024-05-15 10:19:42 发布
阅读量1.7w 收藏 13
点赞数
分类专栏： Clickhouse Zookeeper 文章标签： Zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huochen1994/article/details/79288194
版权
本文详细记录了一次线上Zookeeper连续出现的四次故障处理过程，从故障定位到解决措施，包括集群节点异常、元数据丢失等问题。在解决过程中，通过分析日志、调整配置，最终成功恢复Zookeeper的稳定运行，同时也揭示了ClickHouse对Zookeeper的影响及数据丢失的可能原因。
摘要由CSDN通过智能技术生成

记录一次线上Zookeeper故障

2018.02.06

部门引入了ClickHouse作为数据分析仓库，并且使用了复制表ReplicatedMergeTree，两个集群复制表的数据同步依赖Zookeeper，上线前就对Zookeeper的性能产生过顾虑，但是线上运行一段时间后，未发现异常。直到最近几周，故障频现，本文主要记录故障处理过程以及故障处理的一些思考和坑。

第一次故障

故障定位

第一次故障十分突然，Kafka、Mesos和Yarn都收到了影响。因为对Zookeeper的信任，因此排查耗费了一些时间。通过重启Kafka，发现连接Zookeeper超时才定位到ZK出现问题。

故障处理

查看zookeeper.log，日志中大量如下报错

2018-01-27 06:39:43,728 [myid:5] - WARN  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@362] - Exception causing close of session 0x0 due to java.io.IOException: ZooKeeperServer not running

重启Zookeeper但是无法恢复，日志中依然是上述not running报错

根据这个报错baidu、google，没有找到解决办法，看到有人猜测有脏数据写入，更改数据存储目录可以解决。当时对Zookeeper原理不大清楚，以及对元数据不够重视ÿ

最低0.47元/天 解锁文章
Ricky_Huo
关注
  • 0
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Zookeeper笔记④——监听器触发流程、CloseSession操作和ACL操作
ww0peo的博客
12-07 1354
客户端不需要将监听事件发送给服务端 服务端只需要将发生的事件发送给客户端就可以了 客户端自行判断 客户端每次得到事件都是直接从队列中通过remove方法得到事件，所以事件是一次性 服务端在修改内存数据的时候才触发了事件 如果客户端发送的请求中注册了一个监听器，服务端不论如何都会在请求的时候在自己的一端注册一个ServerCnxn监听器 服务端在触发事件的时候会调用监听器的process方法，这个方...
3班zookeeper第一次课.zip
09-21
其余的节点称为跟随者（Follower），主要处理读操作，并时刻准备在领导者故障时进行选举接替。 三、Zookeeper的数据模型 Zookeeper的数据模型类似于文件系统，由一系列的节点（ZNode）构成，每个节点都有一个唯一...
Closed socket connection for client /39.103.162.230:56100 (no session established for client)
Java程序员廖志伟
11-16 7019
文章目录个人简介正文一、业务场景二、错误日志三、解决方案总结一键三连给读者大大的话博客封面leetCode刷题Idea软件安装包以及破解教程Git&SVN软件安装包以及配置教程面试资料200套PPT模板提问的智慧Java开发学习路线 个人简介 我是廖志伟，一名Java开发工程师，CSDN博客专家，Java领域优质创作者，《幕后大佬》社区创始人，《南北踏尘》微信公众号创始人。多年一线研发经验，曾就职多家互联网公司，参与并主导多个百万级并发的互联网产品研发与系统架构搭建，对大型分布式，高并发及微服务
【分布式】zookeeper遇到问题与解决
最新发布
passer__jw767的博客
05-15 430
我认为我这里可能还是防火墙的问题，因为我的端口是没有被占用的，而且重启zookeeper一定要先关闭zookeeper服务，再重新打开不要一股脑的启动，没有用。
zookeeper运维
热门推荐
横云断岭的专栏
02-09 8万+
尽管zookeeper在编程上有很多的阱陷，API也非常的难用，但zookeeper服务本身可以说是很牢靠的了，所以在网上貌似关于运维的文章比较少。 但省心并不代表不会出麻烦，下面总结下zookeeper运维相关的东东。 重要的参考资料 这里有一个很好的Pdf，介绍了很多zookeeper的东东，作者是zookeeper的committer之一： http://www.infoq.com/p...
Exception causing close of session 0x0: null
jijian4222的博客
11-17 6679
Exception causing close of session 0x0: null zookeeper kafka 消费者通过shell脚本启动时，zookeeper报错： (https://img-blog.csdnimg.cn/20191117012400341.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shad...
zookeeper选主+恢复过程 简析
noob_can的博客
02-27 635
zookeeper选主的日志分析
zookeeper-3.8.0安装包下载
04-13
会话是客户端与 Zookeeper 服务器之间的一次交互过程，如果服务器与客户端的连接断开，临时节点将被自动删除。Watcher 是一种事件监听机制，可以注册在 Znode 上，当 Znode 发生变化时，Watcher 将接收到通知。 在 ...
02-zookeeper
06-21
Zookeeper保证了全局的一致性和原子性，所有客户端看到的数据视图都是相同的，一次更新操作要么全部成功，要么全部失败，没有中间状态。 6. **选举算法** 在Zookeeper集群中，选举算法确保了在任何时刻只有一个...
ZooKeeperDemo示例
05-05
4. **原子性**：所有操作都是原子性的，一次操作要么成功，要么失败，不会出现部分完成的情况。 5. **顺序一致性**：在同一个会话中，客户端看到的数据更新顺序与实际发生的顺序一致。 6. **单一视图**：无论...
zookeeper-vw
05-09
5. **操作历史记录**：记录每一次对Zookeeper的操作，便于回溯和故障排查。 6. **集群管理**：支持添加、删除和切换Zookeeper集群，方便在多个集群间进行切换管理。 7. **性能优化**：通过可视化界面，用户可以更...
zookeeper 单服务器的集群搭建
言午玉口才
03-11 691
一、前言 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooKeeper包含一个简单的原语集，提供Java和C的接口。 二、搭建 安装包：apache-zookeeper-3.5.
zookeeper节点数太多导致的服务瘫痪
yuanwangliu的专栏
02-17 5994
zookeeper客户端连不上服务器，查看服务端日志 文件zookeeper.out（目录见 /usr/local/zookeeper/conf/zoo.cfg中的dataLogDir配置项）如下： 2016-02-16 11:17:44,503 [myid:2] - WARN  [QuorumPeer[myid=2]/0:0:0:0:0:0:0:0:2181:Follower@89]
Windows系统安装Zookeeper3.6.3过程及ZooKeeperServer not running解决办法
icqcqi的博客
05-23 4437
Windows系统安装Zookeeper3.6.3过程 java.io.IOException: ZooKeeperServer not running解决办法
线上Zookeeper问题解决记录
u011250186的博客
08-04 1426
线上Zookeeper问题解决记录
zookeeper启动成功，显示not running问题
njubluebird2的专栏
07-21 9257
zookeeper有个节点挂了，重启显示start成功，查看status还是显示not running。网上查了下，一般是端口占用或者删除dataDir下配置的zookeeper_server.pid。结果还是不行。翻了下zookeeper.out的日志，发现是读dataDir下的snapshot失败了。删除了dataDir下整个version-2文件夹，可以正常启动了。综上，清空dataDir时
Zookeeper运维总结
秀才的专栏
09-18 2356
 zookeeper VIRT虚拟内存占用过大的问题： 这个和zookeeper的实现有关，参考这里：http://zookeeper-user.578899.n2.nabble.com/setting-zookeeper-heap-size-td6983511.html 线上的zookeeper的VIRT有30多G，查看了data, dataLog，总共才几百M。不过一直没什么问题。
Zookeeper（五）基本命令
weixin_44671233的博客
06-30 199
启动 Usage: zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd} 连接 ./bin/zkCli.sh -server 192.168.15.130:2181 其他指令 connect host:port get path [watch] ls path [watch] set path data [version] rmr path quit printwatches on|off create [
Zookeeper如何处理节点的故障？
06-07
Zookeeper通过心跳机制和选举机制来处理节点的故障。 1. 心跳机制 Zookeeper中的每个节点都会周期性地向其它节点发送心跳消息，以表明自己的存活状态。如果某个节点在一段时间内没有收到另一个节点的心跳消息，那么它就会认为该节点已经故障，然后开始进行选举。 2. 选举机制 Zookeeper中的每个节点都有可能成为Leader节点，但是只有一个节点会被选举为Leader节点。如果某个节点认为当前的Leader节点已经故障，那么它就会发起一次选举。 在选举过程中，每个节点会投票给自己，并且向其它节点发送投票请求。如果一个节点收到了超过半数的投票，那么它就会成为新的Leader节点。如果没有节点收到超过半数的投票，那么选举失败，需要重新发起选举。 当新的Leader节点产生后，它会将自己的信息广播给其它节点，并且开始处理客户端的请求。同时，它还会维护一个事务日志，以保证数据的一致性和可靠性。 总的来说，Zookeeper通过心跳机制和选举机制来处理节点的故障，保证了系统的高可用性和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值