zookeeper 集群不可用小结

最新推荐文章于 2024-01-31 09:01:44 发布
最新推荐文章于 2024-01-31 09:01:44 发布
阅读量1.4k 收藏
点赞数
分类专栏： zookeeper 文章标签： 大数据 运维 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SAN_YUN/article/details/84691632
版权
今天遇到一个问题，zookeeper集群有5台机器，其中有一台由于硬件故障挂掉了，结果整个集群都不可用。

后来查了一下原因原来是syncLimit配置为5，这个配置表示sync的timeout有5个tick,tickTime我们配置的2000ms,那么就是10S，看了一下zk的data数据有200MB，在10S内其实不一定能同步完成，每次zk选举都会同步data,由于syncLimit设置的太短，失败之后再次重新选举，然后再次超时，导致集群不可用

解决方案很简单，调大syncLimit.
SAN_YUN
关注
专栏目录
面试官问：说说你对ZooKeeper集群与Leader选举的理解？
马小婧QAQ
09-10 716
ZooKeeper是一个开源分布式协调服务、分布式数据一致性解决方案。可基于ZooKeeper实现命名服务、集群管理、Master选举、分布式锁等功能。 高可用 为了保证ZooKeeper的可用性，在生产环境中我们使用ZooKeeper集群模式对外提供服务，并且集群规模至少由3个ZooKeeper节点组成。 集群至少由3个节点组成 ZooKeeper其实2个节点也可以组成集群并对外提供服务，但我们使用集群主要目的是为了高可用。如果2个节点组成集群，其中1个节点挂了，另外ZooKeeper节点不能正常
Linux搭建 zookeeper+kafka 集群
Felix
03-13 1997
因为kafka是依赖于zookeeper来协调管理的，安装kafka之前我们需要先安装zookeeper，而zookeeper的运行又需要jdk来编译，所以安装zookeeper之前应该先安装jkd。所以，我们需要依次安装：jdk——>zookeeper——>kafka。 一、安装jdk 1、检查系统是否安装了openJDK 有的CentOS系统默认安装了openJDK，检查当前...
Zookeeper节点宕机如何处理
最新发布
越努力越幸运。
01-31 541
因此，Zookeeper 可以容忍一部分节点的宕机，但前提是要保证超过一半的节点是正常工作的。在这种情况下，Zookeeper 集群仍然可以正常提供服务。如果 Zookeeper 节点挂得太多，只剩一半或不到一半节点能工作，集群就会失效。Zookeeper 必须集群部署，推荐配置不少于 3 个节点。Zookeeper 自身也要保证当一个节点宕机时，其他节点会继续提供服务。
安装zookeeper集群，启动看似没问题！使用status查看出现错误
weixin_42025825的博客
03-13 1357
今天很久没搭建zookeeper集群，想在电脑上搭建一下伪集群出现如下错误： Error contacting service. It is probably not running. 在启动时出现了如下状态！本以为成功！想要在其中一个zookeeper的bin下status看一下状元结果出现错误如上错误！ 问题：没有启动，可确实启动了： 解决： （1查看zookeeper集群中conf文件下的...
验证Zookeeper不可用情况下，对HDFS读写功能无影响
zhinengyunwei的博客
01-14 329
作者：SUNNY 时间：2019-01-22 验证目标： 确认ZK服务不可用情况下，HDFS读写功能是否受影响 验证结论： ZK不可用情况下，HDFS读写功能不受影响 验证方法： 停ZK服务前，验证HDFS读写 停ZK服务后，验证HDFS读写 验证环境 ZK实例： 10.237.54.239 10.237.49.23 10.237.49.148 10.237.54.244 10.237.49.1...
Zookeeper的集群故障排除与定位
程序员光剑
01-18 877
1.背景介绍 Zookeeper是一个开源的分布式协调服务，用于构建分布式应用程序的基础设施。它提供了一种可靠的、高性能的协同机制，以实现分布式应用程序的一致性和可用性。Zookeeper的核心功能包括：数据持久化、原子性操作、顺序性操作、可见性操作、通知机制、集群管理等。 Zookeeper的集群故障排除与定位是一项非常重要的技能，因为在实际应用中，Zookeeper集群可能会遇到各种各样的...
Zookeeper集群搭建
热门推荐
老农小江的博客
05-09 1万+
一、前言 　　在大型分布式集群系统中，Zookeeper是一个非常重要的分布式协调服务组件；其应用场景非常广泛，如做服务的注册中心、实现分布式锁以及集群Master选举等等。本文讲述的，就是Zookeeper集群的搭建。
centos7下搭建ZooKeeper3.4中间件常用命令小结
09-14
通过这些命令，你可以对ZooKeeper进行基本的管理，包括创建、读取、更新和删除节点，以及监控ZooKeeper集群的状态。在实际的分布式环境中，ZooKeeper还有更多高级特性，如选举、watcher等，它们对于实现高可用和一致...
Zookeeper 环境搭建
m0_46440794的博客
04-15 587
Zookeeper 完全分布搭建 一： 安装工具准备： apache-zookeeper-3.5.5-bin.tar 链接：https://pan.baidu.com/s/191zqPJr1ZXItAFUp6rGnfQ 提取码：aoye 二： zookeeper 基本知识 1. 介绍： zookeeper 是一个开源的分布式的apache项目。为分布式正在上传…重新上传取消 ...
ZooKeeper 并不适合做注册中心
微服务技术与实践专栏
10-19 1154
zookeeper 的 CP 模型不适合注册中心 zookeeper 是一个非常优秀的项目，非常成熟，被大量的团队使用，但对于服务发现来讲，zookeeper 真的是一个错误的方案。 在 CAP 模型中，zookeeper 是 CP，意味着面对网络分区时，为了保持一致性，他是不可用的。 因为 zookeeper 是一个分布式协调系统，如果使用最终一致性（AP）的话，将是一个糟糕的设计，他的核心算法是 Zab，所有设计都是为了一致性。 对于协调系统，这是非常正确的，但是对于服务发现，可用性是第一位的，
10大HBase常见运维工具整理小结
01-20
- **优点**：不通过HBase通道读取文件，不会影响集群运行。 - **实用性**：4星，能精准定位HFile是否存在故障。 3. **RowCounter和CellCounter工具** - **RowCounter**：使用MapReduce统计表行数。 - **...
单机部署2个zookeeper报错问题
kongkong的专栏
08-27 481
以前部署了1个zookeeper-3.4.14，由于curator版本问题，现在要用到3.5，下载apache-zookeeper-3.5.8，启动后报错了 一开始把dataDir和clientPort改了 比如这里报了8080端口被占用问题 org.apache.zookeeper.server.admin.AdminServer$AdminServerException: Problem starting AdminServer on address 0.0.0.0, port 8080 and
Zookeeper集群的崩溃恢复
XYZ
06-17 2161
Zookeeper可以帮我们实现服务的注册与发现。然而，现在有一个问题是，如果只采用一个Zookeeper服务器，那么当这个服务器宕机时，意味着整个分布式服务无法正常工作。为了解决这一问题，就需要Zookeeper集群。 然而，在使用Zookeeper集群时，也存在着一个问题，即集群中数据一致性的维护。 如上图所示，Zookeeper集群是一主多从结构。 在更新数据时，首先更新到主服务节点，再更新到从服务节点； 在读数据时，直接读取任意从服务节点； 为了保证从节点的数据一致性，Zookeeper采用ZA
我在集群中Zookeeper遇到的一些问题及解决方法
qq_52676760的博客
11-05 913
Zookeeper是一个高可用的分布式数据管理和协调框架，可以保证分布式环境中数据的一致性。Zookeeper有两种安装方式，单机和集群模式，我所安装的是集群模式，安装在Hadoop集群（3个）上。安装时有以下几点需要注意： 1.配置环境变量时，应注意ZK_HOME和PATH的先后顺序。 可通过命令source 、/etc/profile 使环境变量生效。 2.通过命令zkServer.sh start启动Zookeeper后，应使用命令jps查看当前java进程，确保有QuorumPee...
Zookeeper集群“脑裂”问题处理大全
zai路上的博客
01-26 432
Zookeeper集群“脑裂”问题处理大全! 本文重点分享Zookeeper脑裂问题的处理办法。ZooKeeper是用来协调（同步）分布式进程的服务，提供了一个简单高性能的协调内核，用户可以在此之上构建更多复杂的分布式协调功能。 脑裂通常会出现在集群环境中，比如ElasticSearch、Zookeeper集群。而这些集群环境有一个统一的特点，就是它们有一个大脑，比如ElasticSearch集群中有Master节点，Zookeeper集群中有Leader节点。 Zookeeper集群节点为什么要部署成奇.
Zookeeper 集群部署详解
LCK 博客
07-29 2237
一、集群结构介绍 二、集群角色介绍 三、Zookeeper 集群特性 整个集群中只要有超过集群数量一半的 zookeeper 工作只 正常的，那么整个集群对外就是可用的。 假如有 2 台服务器做了一个 zookeeper 集群，只要有任何一台故障或宕机，那么这个 zookeeper 集群就不可用了，因为 剩下的一台没有超过集群一半的数量。 但是假如有三台 zookeeper 组成一个集群， 那么损坏一台就还剩两台，大于 3 台的一半，所以损坏一台还是可以正常运行的， 但是再损坏一台就只剩一台集群就不
Zookeeper学习笔记
qq_38914431的博客
09-22 579
Zookeeper学习笔记Zookeeper组成Zookeeper 特点LeaderFollowerObserverZookeeper集群搭建Zookeeper数据结构与监听机制ZNode 的类型ZNode 的状态信息Watcher 机制Zookeeper内部原理Leader选举ZAB一致性协议Zookeeper应用实践zk实现分布式锁 文章学习笔记内容来源：拉勾教育大数据开发高薪训练营。 记录整理一下Zookeeper的一些的学习笔记以方便后续复习。 Zookeeper组成 Zookeeper 特点
集群挂掉后zookeeper一直出现连接异常
weixin_42348946的博客
04-09 948
虚拟机集群跑程序死掉了,重启后zookeeper一直报错 以前一直正常运行,挂掉后就不行了, 查询网上资料 修改zookeep的配置文件 zoo.cfg 如果有三个节点,将三个节点的配置文件对应的server改成0.0.0.0:2888:3888 节点1对应的sever.1,就将server1修改为0.0.0.0:2888:3888 节点2对应的sever.2,就将server2修改为0....
ZooKeeper集群高可用实战：安装配置与测试
Zookeeper集群的高可用性依赖于其分布式一致性协议，确保在多数节点正常工作时集群仍能运行。为了实现这一目标，通常会设置奇数个节点，如3、5或7个，以确保在有故障的情况下仍有超过半数的节点可用。文中提到了一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值