大数据面试题 —— Zookeeper

最新推荐文章于 2024-05-16 21:51:17 发布
最新推荐文章于 2024-05-16 21:51:17 发布
阅读量893 收藏 15
点赞数 21
文章标签： 大数据 zookeeper 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84183628/article/details/138246863
版权

ZooKeeper 的定义

总的来说，Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。

具体来说，Zookeeper是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper 就负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应。

Zookeeper = 文件系统 + 通知机制。

ZooKeeper 的特点

（1）Zookeeper是由一个领导者（Leader)和多个跟随者（Follower）组成的集群。

（2）集群中只要有半数以上节点存活，Zookeeper 集群就能正常服务。

（3）全局数据一致性：每个 Server 保存一份相同的数据副本，Client 无论连接到哪个 server，数据都是一致的。

（4）更新请求 顺序性 ，来自同一个 Client 的更新请求按其发送顺序依次执行。

（5）数据更新原子性，一次数据更新要么成功，要么失败（保证了数据一致性）。

（6）实时性，在一定时间范围内，Client 能读到最新数据。

ZooKeeper 的应用场景

（1）统一命名服务：在分布式环境下，经常需要对服务进行统一命名，便于识别，例如 ip 地址。

（2）统一配置管理：在一个集群中，要求所有节点的配置信息是一致的

（3）统一集群管理：在一个集群中，需要实时监控每个节点的状态变化

（4）负载均衡：在Zookeeper中记录每个服务器的访问次数，再次请求的时候，让访问次数最少得服务器去处理当前的请求。

你觉得Zookeeper比较重要的功能

ZooKeeper最重要的功能之一是提供分布式系统的协调和管理服务，它能够协调分布式系统中各个节点的状态，维护分布式系统的配置信息，帮助分布式系统实现同步和通信。

ZooKeeper 的选举机制 ***

选举机制总原则：集群中的每台机器都参与投票，通过交换选票信息得到每台机器的最终得票， 一旦出现得票数超过机器总数 一半以上 数量，当前机器即为 leader。

以一个简单的例子来说明整个选举的过程。

假设有五台服务器组成的 Zookeeper 集群，它们的 id 从 1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。

在这里插入图片描述

（1）服务器 1 启动，发起一次选举。服务器 1 投自己一票。此时服务器 1 票数一票，不够半数以上（3票），选举无法完成，服务器 1 状态保持为LOOKING；

（2）服务器2启动，再发起一次选举。服务器 1 和 2 分别投自己一票并交换选票信息：此时服务器 1 发现服务器2的 ID 比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器 1 票数 0 票，服务器 2 票数 2 票，没有半数以上结果，选举无法完成，服务器1，2 状态保持 LOOKING；

（3）服务器 3 启动，发起一次选举。此时服务器 1 和 2 都会更改选票为服务器 3。此次投票结果：服务器1为0票，服务器2为0票，服务器 3 为 3 票。此时服务器 3 的票数已经超过半数，服务器 3 当选 Leader。服务器 1，2 更改状态为 FOLLOWING，服务器3更改状态为LEADING；

（4）服务器 4 启动，发现当前集群已经有 Leader，它自己自动成为 Follower；

（5）服务器5启动，同服务器 4一样。

zookeeper主节点故障，如何重新选举？

当集群中的leader挂掉，集群会重新选出一个leader，此时首先会比较每一台机器的epoch，epoch大的直接选举为leader，epoch若是相同就比较每一台机器的事务id（zxid），zxid 最大的被选为 leader。极端情况，zxid 都相等的情况，那么就会直接比较服务器id（myid、sid）。

在 Zookeeper 集群中，epoch 是用来标识 Zookeeper 集群中的逻辑时期（epoch）。每当选举出一个新的 Leader 时，Zookeeper 集群的 epoch 就会增加，以标识当前的 Leader 任期。

ZooKeeper 的监听原理 ***

（1）首先要有一个 main() 线程

（2）在 main() 线程中创建 ZooKeeper 客户端，这时就会创建两个线程，一个负责网络连接通信（connet），一个负责监听（listener）

（3）客户端通过 connet 线程将注册的监听事件发送给服务端

（4）在 ZooKeeper 的注册监听器列表中将注册的监听事件添加到列表中

（5）ZooKeeper 监听到有数据或路径的变化，就会将这个消息发送给 listener 线程

（6） 客户端 listener 线程内部调用 process() 方法做出相应处理

在这里插入图片描述

zookeeper集群的节点数为什么建议奇数台 ***

（1）因为 zookeeper 中只要有半数以上的机器正常工作，那么整个集群对外就是可用的。比如说如果有 2 个 zookeeper，那么只要 1 个死了 zookeeper 就不能用了，因为 1没有过半，那么 zookeeper 的死亡容忍度为 0，同理，如果有 3 个 zookeeper，如果死了 1个，还剩2个
正常，还是过半的，所以 zookeeper 的死亡容忍度为 1，我之前算过 4 个5 个 6 个等情况下的死亡容忍度，发现了一个规律，2n 和 2n-1 的容忍度是一样的，所以为了节约资源，就选择奇数台。

（2）防止因为集群脑裂造成集群用不了。比如有 4 个节点，脑裂为 2 个小集群，都为 2 个节点，这时候，不能满足半数以上的机器正常工作，因此集群就不可用了，那么当有 5 个节点的时候，脑裂为 2 个小集群，分别为2和 3，这时候 3 这个小集群仍然可以选举出 leader，因此集群还是可用的。

ZooKeeper 的部署方式有哪几种？集群中的角色有哪些？集群最少需要几台机器？规则是怎样的？

（1）部署方式

  • 单机模式：将Zookeeper运行在单台机器上，仅供学习和开发使用；
  • 集群模式：zookeeper运行在多台机器上，每台机器上都运行一个zookeeper实例；
  • 伪分布式模式：仍然只有一台物理机器，但是该机器运行了多个Zookeeper实例。

（2）zookeeper有三种角色：

  • 老大Leader(领导者）
  • 老二Follower （跟随者）
  • 老三Observer（观察者）。Observer 接受客户端连接，将写操作转给Leader，但Observer不参与投票（即不参加一致性协议的达成），只同步Leader节点的状态，Observer角色是为集群系统扩展而生的。Follower和Observer归类为Learner（学习者）

（3）集群最少需要机器数：3，集群规则为2N+1台，N>0

ZooKeeper 的常用命令

（1） ls：查看当前 znode 的子节点

（2）create：创建节点

（3）set：设置节点的值

（4） get：获取节点的值

（5） stat：查看节点的状态

（6） delete：删除节点

（7） deleteall：递归删除节点

Zookeeper目录结构

ZooKeeper的目录结构采用类似Unix文件系统的树形结构。ZooKeeper 目录结构由 ZNode 组成，每个ZNode 默认情况下最多可以存储 1MB 的数据。ZNode是ZooKeeper中的基本数据单元，可以用于存储配置信息、状态信息等。

ZooKeeper目录结构的根节点为/，所有的ZNode都是以根节点为基础进行构建的。每个ZNode的名称是唯一的，并且可以包含多个子节点，每个子节点都是一个独立的ZNode。ZNode可以是永久节点，也可以是临时节点。

在ZooKeeper目录结构中，常用的ZNode包括：

  • /zookeeper：ZooKeeper的内部节点，用于存储ZooKeeper的配置信息和状态信息。
  • /brokers：Kafka集群中所有的Broker信息存储在该节点下。
  • /controller：Kafka集群中Controller的状态信息存储在该节点下。
  • /consumers：Kafka中所有的消费者组信息存储在该节点下。
  • /config：Kafka集群的配置信息存储在该节点下。
  • /admin：Kafka中所有的管理员操作信息存储在该节点下。

简述什么是CAP理论，zookeeper满足CAP的哪两个 ***

分布式系统有三个指标：

  • Consistency（一致性）
    • 用户在访问分布式系统中的任意节点，得到的数据必须一致。

在这里插入图片描述

  • Availability（可用性）
    • 用户访问集群中任意的健康节点，必须能得到响应，而不是超时或拒绝。

在这里插入图片描述

  • Paratition tolerance（分区容错性）
    • 分区：因为网络故障或其他原因导致分布式系统中的部分节点与其他节点失去连接，形成独立的分区。
    • 容错：在集群出现分区时，整个系统也要持续对外提供服务。

分布式系统无法同时满足这三个指标，这个结论就是 CAP 理论。

在这里插入图片描述
Zookeeper 符合一致性、分区容错性。（CP）

在这里插入图片描述

Paxos 算法 ***

Paxos 算法：一种基于消息传递且具有高度容错性的一致性算法。

Paxos 算法解决的问题：如何快速正确的在一个分布式系统中对某个数据的值达成一致，并且保证不论发生任何异常，都不会破坏整个系统的一致性。

在一个 Paxos 系统中，首先将所有的节点划分为Proposer（提议者）、Accepter（接受者）和 Learner（学习者）。（注意每个节点都可以身兼数职）

一个完整的 Paxos 算法流程分为三个阶段：

  • 准备阶段
    • Proposer 向多个 Accepter 发出 Propose 请求Promise（承诺）
    • Accepter 针对收到的Propose请求进行Promise（承诺）
  • 接受阶段
    • Proposer 收到多个Accepter的Promise（承诺）后，向Accepter发出Propose
    • Accepter 针对收到的Propose请求进行Accept处理
  • 学习阶段
    • Proposer将形成的决议发送给所有的 Learner

ZAB协议/Zookeeper怎么保证一致性的 ***

依赖了 ZAB 协议，ZAB 协议借鉴了 Paxos 算法，是专门为 ZooKeeper 设计的支持崩溃恢复的原子广播协议。Paxos 算法中采用多个Proposer 会存在竞争 Acceptor 的问题，ZooKeeper 设计为只有一个 Leader 负责处理外部的写事务请求，然后 Leader 将数据同步到其他 Follower 节点。即，ZooKeeper 只有一个 Leader 可以发起提议。

ZAB 协议包括两种基本的模式：消息广播（正常）、崩溃恢复（异常）。

这两个模式是相辅相成的，消息广播模式就是 Zookeeper 不出现任何问题，并且正常工作的模式，崩溃恢复看字面意思就是当 Zookeeper 出现故障时用于恢复的。

（1）消息广播

在这里插入图片描述

（2）崩溃恢复

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

ZooKeeper 使用的ZAB协议与Paxo算法的异同？

相同点：

  • 两者都存在一个类似于 Leader 进程的角色，由其负责协调多个 Follower 进程的运行
  • Leader 进程都会等待超过半数的 Follower 做出正确的反馈后，才会将一个提案进行提交
  • ZAB 协议中，每个 Proposal 中都包含一个 epoch 值来代表当前的 Leader 周期，Paxos 中名字为 Ballot

不同点：

ZAB(ZooKeeper Atomic Broadcast) 用来构建高可用的分布式数据主备系统（Zookeeper），Paxos 是用来构建分布式一致性状态机系统。而 Paxos 算法与 ZAB 协议不同的是，Paxos 算法的发起者可以是一个或多个。当集群中的 Acceptor 服务器中的大多数可以执行会话请求后，提议者服务器只负责发送提交指令，事务的执行实际发生在 Acceptor 服务器。这与 ZooKeeper 服务器上事务的执行发生在 Leader 服务器上不同。Paxos 算法在数据同步阶段，是多台 Acceptor 服务器作为数据源同步给集群中的多台 Learner 服务器，而 ZooKeeper 则是单台 Leader 服务器作为数据源同步给集群中的其他角色服务器。

注意：ZAB是在Paxos的基础上改进和演变过来的。

分布式集群中为什么会有主节点

在分布式环境中，有些业务逻辑只需要集群中的某一台机器进行执行，其他的机器可以共享这个结果，这样可以大大减少重复计算，提高性能，于是就需要主节点。

节点挂掉的时候Zookeeper是如何发现的

ZooKeeper提供了一种心跳机制，即每个节点都会定期向其他节点发送心跳消息，如果一个节点超过一定时间没有收到其他节点的心跳消息，就会判定这个节点已经下线了。

Leader一旦选出，如何让集群中所有Follow获悉

心跳机制

Zookeeper下 服务器的工作状态有几种

ZooKeeper 服务器有四种工作状态：

  • LOOKING：寻找 Leader 状态。当服务器处于该状态时，它会认为当前服务器没有 Leader，因此需要进入 Leader 选举状态。
  • FOLLOWING：跟随者状态。表明当前服务器角色是 Follower。
  • LEADING：领导者状态。表明当前服务器角色是 Leader。

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

：跟随者状态。表明当前服务器角色是 Follower。

  • LEADING：领导者状态。表明当前服务器角色是 Leader。

[外链图片转存中…(img-ChJHVDd7-1714192875039)]
[外链图片转存中…(img-XmWLwUkk-1714192875040)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84183628
关注
  • 21
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
牛客大数据面试题集锦+答案，共523道，46W+字。大厂必备
09-04
大数据面试题V3.0完成了。共523道题，679页，46w+字，来源于牛客870+篇面经。 主要分为以下几部分： Hadoop面试题：100道 Zookeeper面试题：21道 Hive面试题：47道 Flume面试题：11道 Kafka面试题：59到 HBase面试题...
大数据面试题——zookeeper
孙中明
01-08 1488
文章目录zookeeper是什么,有什么功能讲一下leader 选举过程zk 有几种部署模式zookeeper采用的哪种分布式一致性协议? 还有哪些分布式一致性协议zookeeper watch机制说一下zk的通知机制zk是怎样保证主从节点的状态同步——ZAB分布式协议ZAB过程ZAB协议原理----------------------------------Leader选举算法分析 zookeeper是什么,有什么功能 用途 分布式锁 服务注册和发现 ????利用Znode和Watcher，可以实
大数据面试题 —— Zookeeper(1)
2301_79099434的博客
04-27 979
Consistency（一致性）用户在访问分布式系统中的任意节点，得到的数据必须一致。Availability（可用性）用户访问集群中任意的健康节点，必须能得到响应，而不是超时或拒绝。Paratition tolerance（分区容错性）分区：因为网络故障或其他原因导致分布式系统中的部分节点与其他节点失去连接，形成独立的分区。容错：在集群出现分区时，整个系统也要持续对外提供服务。分布式系统无法同时满足这三个指标，这个结论就是 CAP 理论。
大数据最全大数据面试题 —— Zookeeper(3)
2401_84182428的博客
05-04 615
Consistency（一致性）用户在访问分布式系统中的任意节点，得到的数据必须一致。Availability（可用性）用户访问集群中任意的健康节点，必须能得到响应，而不是超时或拒绝。Paratition tolerance（分区容错性）分区：因为网络故障或其他原因导致分布式系统中的部分节点与其他节点失去连接，形成独立的分区。容错：在集群出现分区时，整个系统也要持续对外提供服务。分布式系统无法同时满足这三个指标，这个结论就是 CAP 理论。
2024年大数据最新大数据面试题 —— Zookeeper(2)
2401_84185441的博客
05-02 899
总的来说，Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。具体来说，Zookeeper是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper 就负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应。Zookeeper = 文件系统 + 通知机制。Consistency（一致性）用户在访问分布式系统中的任意节点，得到的数据必须一致。
大数据面试题整理.docx
04-17
Hadoop、Spark、Flink、Java、scala、HBase、Flume、Hive、Kafka、Zookeeper、Redis、MySQl、MongoDB、Linux、Sqoop、Oracle
大数据面试题
10-22
例如： ...78、 zookeeper相关知识介绍 79、 flume的扇入扇出 80、 hive的建表语句， hive如何存储数据 81、 hadoop版本 82、 hive有几个模块 83、 Java nio nio组成部分（channel buffer selector）
牛客大数据面试题集锦+答案，共523道，46W+字 面试题总结一网打尽
06-13
大数据面试题V3.0完成了。共523道题，679页，46w+字，来源于牛客870+篇面经。 主要分为以下几部分： Hadoop面试题：100道 Zookeeper面试题：21道 Hive面试题：47道 Flume面试题：11道 Kafka面试题：59到 HBase面试题...
java面试——zookeeper面试专题.zip
09-26
java面试——zookeeper面试专题.zip
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
最新发布
m0_72717598的博客
05-16 141
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
易图讯科技三维电子沙盘系统
QQ_2801061513的博客
05-12 195
深圳易图讯科技有限公司（www.3dgis.top）创立于2013年，专注二三维地理信息、三维电子沙盘、电子地图、虚拟现实、大数据、物联网和人工智能技术研发，获得20多项软件著作权和软件检测报告，成功交付并实施了1000多个项目，广泛应用于部队、武警、武装部、公安、应急、消防、安全生产、森林防火、石油石化、科研教育、国防动员、人民防空等行业。三维地理信息电子沙盘集多项先进技术于一体，为军事、公安、应急、消防、森林防火、人民武装、国防动员、人民防空等领域提供强大决策支持和指挥调度能力。
要对数据源和同步后的数据进行数据量的对比
smile6868的博客
05-16 154
4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。
RabbitMQ介绍
yuanlaile的博客
05-11 530
RabbitMQ 是一个实现了高级消息队列协议（AMQP）的开源消息代理中间件。 俗称消息队列。 RabbitMQ在企业中有非常广泛的应用，在中工作可以处理复杂的业务逻辑。
大数据概述
JAZJD的博客
05-16 546
从最初的存储和处理海量数据，到后来的数据分析和可视化，再到如今的机器学习和人工智能驱动的大数据应用，大数据技术日新月异，不断突破创新。在信息科技方面，计算机硬件性能的提升、存储技术的进步、网络传输速度的加快等，为海量数据的产生、收集和处理提供了技术支撑。：大数据往往包含多种类型的数据，如结构化数据（数据库中的表格数据）、半结构化数据（XML、JSON等格式）、以及非结构化数据（文本、图像、视频等）。随着技术的进步和应用的深入，大数据必将释放出更大的价值，为社会带来更多的创新和变革。
测试环境搭建整套大数据系统（十六：超级大文件处理遇到的问题）
weixin_43446246的博客
05-10 367
日志：1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop-3.2.4/data/nm-local-dir : used space above threshold of 90.0% ];
第十四章大数据与数据科学练习
weixin_48277834的博客
05-12 970
A：预测性分析和规范性分析B：描述性分析和预测性分析C：描述性分析和规范性分析D：预见性分析和规范性分析正确答案：A 你的答案：A解析：389页第四点及下方图表，数据科学的两种分析模式分别是预测性分析和规范性分析。
Flink LookupJoin攒批查询
shirukai
05-16 302
使用Lookup Join进行维表关联时，流表数据需要实时与维表数据进行关联。使用Cache会导致数据关联不准确，不使用Cache会造成数据库服务压力。攒批查询是指攒够一定批数量的数据，相同的查询Key只查询一次，从而减少查询次数。对短时间Key重复率比较高的场景有不错的性能提升。
技术前沿 |【SIMD并行计算与分布式算法：前沿技术的深度解析】
尺小闹的博客
05-15 1005
随着技术的不断进步和创新，SIMD并行计算和分布式算法将在更多领域得到应用。例如，在物联网、边缘计算、区块链等新兴领域中，SIMD并行计算和分布式算法将发挥重要作用，推动这些领域的快速发展。综上所述，SIMD并行计算和分布式算法作为前沿技术，在提升数据处理和计算能力方面具有重要作用。随着信息技术的不断发展，这两种技术将在更多领域得到应用，并推动社会进步和科技发展。
大数据面试题2023
11-04
大数据面试题V3.0是一本共523道题，679页，46w+字的面试题集合，来源于牛客870+篇面经。主要分为以下几部分：Hadoop面试题、Zookeeper面试题、Hive面试题、Flume面试题、Kafka面试题、HBase面试题等。这些面试题涵盖...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值