Zookeeper一次故障处理

最新推荐文章于 2024-05-15 10:19:42 发布
最新推荐文章于 2024-05-15 10:19:42 发布
阅读量1.7w 收藏 13
点赞数
分类专栏： Clickhouse Zookeeper 文章标签： Zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huochen1994/article/details/79288194
版权
本文详细记录了一次线上Zookeeper连续出现的四次故障处理过程，从故障定位到解决措施，包括集群节点异常、元数据丢失等问题。在解决过程中，通过分析日志、调整配置，最终成功恢复Zookeeper的稳定运行，同时也揭示了ClickHouse对Zookeeper的影响及数据丢失的可能原因。
摘要由CSDN通过智能技术生成

记录一次线上Zookeeper故障

2018.02.06

部门引入了ClickHouse作为数据分析仓库，并且使用了复制表ReplicatedMergeTree，两个集群复制表的数据同步依赖Zookeeper，上线前就对Zookeeper的性能产生过顾虑，但是线上运行一段时间后，未发现异常。直到最近几周，故障频现，本文主要记录故障处理过程以及故障处理的一些思考和坑。

第一次故障

故障定位

第一次故障十分突然，Kafka、Mesos和Yarn都收到了影响。因为对Zookeeper的信任，因此排查耗费了一些时间。通过重启Kafka，发现连接Zookeeper超时才定位到ZK出现问题。

故障处理

查看zookeeper.log，日志中大量如下报错

2018-01-27 06:39:43,728 [myid:5] - WARN  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@362] - Exception causing close of session 0x0 due to java.io.IOException: ZooKeeperServer not running

重启Zookeeper但是无法恢复，日志中依然是上述not running报错

根据这个报错baidu、google，没有找到解决办法，看到有人猜测有脏数据写入，更改数据存储目录可以解决。当时对Zookeeper原理不大清楚，以及对元数据不够重视ÿ

最低0.47元/天 解锁文章
Ricky_Huo
关注
  • 0
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Zookeeper问题排查
乔木人 的 技术专栏
06-11 2526
现象 zookeeper版本为3.4.3， hbase版本为0.94.7。 按照zk的设计，一台机器down了之后应该仍然可以工作，但实际上应用中并不如此。 Zookeeper一台机器在生产环境中被挪走，客户端始终无法连接HBase。 问题排查 抛出如下异常： Caused by: java.net.UnknownHostException: ops-new-launch-
3班zookeeper第一次课.zip
09-21
其余的节点称为跟随者（Follower），主要处理读操作，并时刻准备在领导者故障时进行选举接替。 三、Zookeeper的数据模型 Zookeeper的数据模型类似于文件系统，由一系列的节点（ZNode）构成，每个节点都有一个唯一...
Closed socket connection for client /39.103.162.230:56100 (no session established for client)
Java程序员廖志伟
11-16 7013
文章目录个人简介正文一、业务场景二、错误日志三、解决方案总结一键三连给读者大大的话博客封面leetCode刷题Idea软件安装包以及破解教程Git&SVN软件安装包以及配置教程面试资料200套PPT模板提问的智慧Java开发学习路线 个人简介 我是廖志伟，一名Java开发工程师，CSDN博客专家，Java领域优质创作者，《幕后大佬》社区创始人，《南北踏尘》微信公众号创始人。多年一线研发经验，曾就职多家互联网公司，参与并主导多个百万级并发的互联网产品研发与系统架构搭建，对大型分布式，高并发及微服务
zookeeper选主+恢复过程 简析
noob_can的博客
02-27 635
zookeeper选主的日志分析
【分布式】zookeeper遇到问题与解决
最新发布
passer__jw767的博客
05-15 424
我认为我这里可能还是防火墙的问题，因为我的端口是没有被占用的，而且重启zookeeper一定要先关闭zookeeper服务，再重新打开不要一股脑的启动，没有用。
zookeeper运维
热门推荐
横云断岭的专栏
02-09 8万+
尽管zookeeper在编程上有很多的阱陷，API也非常的难用，但zookeeper服务本身可以说是很牢靠的了，所以在网上貌似关于运维的文章比较少。 但省心并不代表不会出麻烦，下面总结下zookeeper运维相关的东东。 重要的参考资料 这里有一个很好的Pdf，介绍了很多zookeeper的东东，作者是zookeeper的committer之一： http://www.infoq.com/p...
Zookeeper的一次启动失败问题解决
u012632105的博客
01-13 1万+
Zookeeper集群中的一个节点总是启动失败；而其他节点启动成功 失败日志如下： 2021-01-13 14:14:24,324 [myid:3] - WARN [NIOWorkerThread-2:NIOServerCnxn@373] - Close of session 0x0 java.io.IOException: ZooKeeperServer not running at org.apache.zookeeper.server.NIOServerCnxn.readLen
zookeeper 单服务器的集群搭建
言午玉口才
03-11 691
一、前言 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooKeeper包含一个简单的原语集，提供Java和C的接口。 二、搭建 安装包：apache-zookeeper-3.5.
zookeeper-3.8.0安装包下载
04-13
会话是客户端与 Zookeeper 服务器之间的一次交互过程，如果服务器与客户端的连接断开，临时节点将被自动删除。Watcher 是一种事件监听机制，可以注册在 Znode 上，当 Znode 发生变化时，Watcher 将接收到通知。 在 ...
02-zookeeper
06-21
Zookeeper保证了全局的一致性和原子性，所有客户端看到的数据视图都是相同的，一次更新操作要么全部成功，要么全部失败，没有中间状态。 6. **选举算法** 在Zookeeper集群中，选举算法确保了在任何时刻只有一个...
ZooKeeperDemo示例
05-05
4. **原子性**：所有操作都是原子性的，一次操作要么成功，要么失败，不会出现部分完成的情况。 5. **顺序一致性**：在同一个会话中，客户端看到的数据更新顺序与实际发生的顺序一致。 6. **单一视图**：无论...
zookeeper-vw
05-09
5. **操作历史记录**：记录每一次对Zookeeper的操作，便于回溯和故障排查。 6. **集群管理**：支持添加、删除和切换Zookeeper集群，方便在多个集群间进行切换管理。 7. **性能优化**：通过可视化界面，用户可以更...
Exception causing close of session 0x0: null
jijian4222的博客
11-17 6675
Exception causing close of session 0x0: null zookeeper kafka 消费者通过shell脚本启动时，zookeeper报错： (https://img-blog.csdnimg.cn/20191117012400341.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shad...
zookeeper节点数太多导致的服务瘫痪
yuanwangliu的专栏
02-17 5993
zookeeper客户端连不上服务器，查看服务端日志 文件zookeeper.out（目录见 /usr/local/zookeeper/conf/zoo.cfg中的dataLogDir配置项）如下： 2016-02-16 11:17:44,503 [myid:2] - WARN  [QuorumPeer[myid=2]/0:0:0:0:0:0:0:0:2181:Follower@89]
Windows系统安装Zookeeper3.6.3过程及ZooKeeperServer not running解决办法
icqcqi的博客
05-23 4429
Windows系统安装Zookeeper3.6.3过程 java.io.IOException: ZooKeeperServer not running解决办法
线上Zookeeper问题解决记录
u011250186的博客
08-04 1426
线上Zookeeper问题解决记录
zookeeper安装(windows)
yarddray的专栏
02-12 5186
一、下载地址&并且配置 http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 解压文件夹为 zookeeper-3.4.6 部分目录结构及修改点如下:        |    bin              |    build.xml              |    C
zookeeper启动成功，显示not running问题
njubluebird2的专栏
07-21 9250
zookeeper有个节点挂了，重启显示start成功，查看status还是显示not running。网上查了下，一般是端口占用或者删除dataDir下配置的zookeeper_server.pid。结果还是不行。翻了下zookeeper.out的日志，发现是读dataDir下的snapshot失败了。删除了dataDir下整个version-2文件夹，可以正常启动了。综上，清空dataDir时
Zookeeper如何处理节点的故障？
06-07
Zookeeper通过心跳机制和选举机制来处理节点的故障。 1. 心跳机制 Zookeeper中的每个节点都会周期性地向其它节点发送心跳消息，以表明自己的存活状态。如果某个节点在一段时间内没有收到另一个节点的心跳消息，那么它就会认为该节点已经故障，然后开始进行选举。 2. 选举机制 Zookeeper中的每个节点都有可能成为Leader节点，但是只有一个节点会被选举为Leader节点。如果某个节点认为当前的Leader节点已经故障，那么它就会发起一次选举。 在选举过程中，每个节点会投票给自己，并且向其它节点发送投票请求。如果一个节点收到了超过半数的投票，那么它就会成为新的Leader节点。如果没有节点收到超过半数的投票，那么选举失败，需要重新发起选举。 当新的Leader节点产生后，它会将自己的信息广播给其它节点，并且开始处理客户端的请求。同时，它还会维护一个事务日志，以保证数据的一致性和可靠性。 总的来说，Zookeeper通过心跳机制和选举机制来处理节点的故障，保证了系统的高可用性和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值