大数据技术之Zookeeper

最新推荐文章于 2024-07-17 17:53:42 发布

不知道叫啥了……

最新推荐文章于 2024-07-17 17:53:42 发布

阅读量153

点赞数

文章标签：大数据 zookeeper

本文链接：https://blog.csdn.net/m0_66882197/article/details/130216190

版权

1.Zookeeper 概述

Zookeeper 是一个开源的分布式的为分布式应用提供协调服务的Apache项目

1.1 ZooKeeper中的各种角色

2.Zookeeper 工作机制

Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

3.Zookeeper 特点

4.数据结构

5.应用场景

1. 提供的服务包括: 统一命名服务，统一配置管理，统一集群管理，服务器节点动态上下线，软负载均衡等。

1.1统一命名服

1.2统一配置管理

1.3统一集群管理

1.4 服务器节点动态上下线:

1.5 软负载均衡

　　负载均衡(Load Balance)是一种相当常见的计算机网络技术，用来对多个计算机(计算机集群)、网络连接、CPU、硬盘驱动器或其他资源进行分配负载，以达到优化资源使用、最大化吞吐率、最小化响应时间和避免过载的目的。通常，负载均衡可以分为硬件和软件负载均衡两类。本节主要探讨 ZooKeeper 在”软“负载均衡中的应用场景。

　　基本上每一个分布式系统都需要使用负载均衡，分布式系统具有对等性，为了保证系统的高可用性，通常采用副本的方式来对数据和服务进行部署。而对于消费者而言，则需要在这些对等的服务提供者中选择一个来执行相关的业务逻辑。

6.Zookeeper 内部原理

6.1选举机制

选举机制（面试重点）
1）半数机制：集群中半数以上机器存活，集群可用。所以 Zookeeper 适合安装奇数台
服务器。
2）Zookeeper 虽然在配置文件中并没有指定 Master 和 Slave。但是，Zookeeper 工作时，
是有一个节点为 Leader，其他则为 Follower，Leader 是通过内部的选举机制临时产生的。

3）以一个简单的例子来说明整个选举的过程。
假设有五台服务器组成的 Zookeeper 集群，它们的 id 从 1-5，同时它们都是最新启动的，
也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来
看看会发生什么，如图所示

（1）服务器 1 启动，发起一次选举。服务器 1 投自己一票。此时服务器 1 票数一票，
不够半数以上（3 票），选举无法完成，服务器 1 状态保持为 LOOKING；
（2）服务器 2 启动，再发起一次选举。服务器 1 和 2 分别投自己一票并交换选票信息：
此时服务器 1 发现服务器 2 的 ID 比自己目前投票推举的（服务器 1）大，更改选票为推举
服务器 2。此时服务器 1 票数 0 票，服务器 2 票数 2 票，没有半数以上结果，选举无法完成，
服务器 1，2 状态保持 LOOKING
（3）服务器 3 启动，发起一次选举。此时服务器 1 和 2 都会更改选票为服务器 3。此
次投票结果：服务器 1 为 0 票，服务器 2 为 0 票，服务器 3 为 3 票。此时服务器 3 的票数已
经超过半数，服务器 3 当选 Leader。服务器 1，2 更改状态为 FOLLOWING，服务器 3 更改
状态为 LEADING；
（4）服务器 4 启动，发起一次选举。此时服务器 1，2，3 已经不是 LOOKING 状态，
不会更改选票信息。交换选票信息结果：服务器 3 为 3 票，服务器 4 为 1 票。此时服务器 4
服从多数，更改选票信息为服务器 3，并更改状态为 FOLLOWING；
（5）服务器 5 启动，同 4 一样当小弟。

6.2 节点类型

6.3 Stat 结构体

1）czxid-创建节点的事务 zxid
每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳，也就是 ZooKeeper 事务 ID。
事务 ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid，如果 zxid1 小于 zxid2，那么 zxid1 在 zxid2 之前发生。
2）ctime - znode 被创建的毫秒数(从 1970 年开始)
3）mzxid - znode 最后更新的事务 zxid
4）mtime - znode 最后修改的毫秒数(从 1970 年开始)
5）pZxid-znode 最后更新的子节点 zxid
6）cversion - znode 子节点变化号，znode 子节点修改次数
7）dataversion - znode 数据变化号
8）aclVersion - znode 访问控制列表的变化号
9）ephemeralOwner- 如果是临时节点，这个是 znode 拥有者的 session id。如果不是临时节
点则是 0。
10）dataLength- znode 的数据长度
11）numChildren - znode 子节点数量

6.4 监控器原理

6.5 Zookeeper 写数据流程

客户端写入请求发送给leader
① 客户端client向leader发送写请求

 ② leader写数据同时会发送写请求给所有follower

 ③ 等待follower写入完成的ack，当完成数达到半数（包含自己）时

 ④ 发送数据写入完成的ack给客户端client

-------------------------------------------------------------------------------------------------------------

客户端写入请求发送给某个follower
① 客户端client向follower发送写入数据的请求

② follower将客户端client的写请求转发给leader

③ leader 将写请求发送给所有follower，同时自己写入数据

④ leader收到超过半数的数据写入完成ack时

⑤ leader发送完成ack给收到客户端client请求的follower

⑥ 收到客户端client写请求的follower发送ack给客户端client