zookeeper学习笔记

资料参考来源拉钩Java高薪训练营


前言

Zookeeper是一个开源的分布式协调服务,是一个典型的分布式数据一致性解决方案,分布式应用可以基于Zookeeper实现数据订阅/发布、负载均衡、命名服务、集群管理、分布式锁、分布式队列等功能。

一、Zookeeper基本概念

  1. 集群角色
    Zookeeper有Leader、Follower、Observer三种角色,Zookeeper中通过Leader选举来选定一台被称为Leader的机器,Leader提供读写服务,Follower和Observer只提供读服务,但是Observer不参与Leader选举和写操作过半投票策略。

  2. 会话
    会话是客户端和Zookeeper的一个TCP长连接会话,通过心跳检测来保持有效的会话。

  3. 节点(Znode)
    Zookeeper中数据存储在内存中,数据模型是一棵树,有斜杠(/)进行分割的路径,比如/app/test,每个Znode上都会保存自己的数据内容和一系列的属性信息。
    节点类型分为持久性节点(Persistent)、临时性节点(Ephemeral)、顺序性节点(Sequential),通过这集中特性组合成这四种节点类型:

    • 持久节点:被创建后一直存在服务器上,直到删除操作主动清楚
    • 持久顺序节点:特性和持久节点一致,额外加上了顺序,在创建时,会在节点名后面加上一个数字后缀,来表示顺序。
    • 临时节点:生命周期和客户端会话绑定在一起,客户端会话结束,节点会被自动删除。临时节点不能创建子节点。
    • 临时顺序节点:和临时节点特性一直,创建节点时在节点名加上了数字后缀来表示顺序。
  4. 版本(version)
    zookeeper会在节点上存储数据,同时会有一个叫Stat的数据结构,记录了当前数据的版本信息。有点类似于数据库的乐观锁概率,基于版本来操作数据。

  5. Watcher(事件监听器)
    Watcher是Zookeeper中很重要的特性,Zookeeper允许客户端在指定节点上注册一些Watcher,并在一些特殊事件触发的时候,通知这个客户端,该机制是Zookeeper实现分布式协调服务的重要特性。

  6. ACL
    ACL是Zookeeper采用的权限控制策略,定义了5种权限:

    • CREATE:创建节点的权限
    • READ:获取节点数据和子节点列表的权限
    • WRITE:更新节点的权限
    • DELETE:删除子节点的权限
    • ADMIN:设置节点ACL的权限

二、Zookeeper使用

1.常用命令

客户端连接Zookeeper:

./zkcli.sh 连接本地的zookeeper服务
./zkCli.sh -server ip:port 连接执行服务器

创建节点:

create [-s][-e] path data acl
其中 -s或-e分别指节点特性,-s是顺序节点,-e是临时节点,若不指定,则创建持久节点。acl用来进行权限控制

读取节点:

ls path
查看指定路径下的子节点列表

get path
获取指定路径节点的数据

更新节点:

set path data [version]
可以指定版本更新节点数据

删除节点:

delete path [version]

2.Zookeeper应用场景

  • 数据发布订阅
    其实就是配置中心,发布者发布数据到Zookeeper上的节点,通过Watcher通知订阅者来获取数据,实现配置信息的集中式管理和数据的动态更新。
    比如一个数据库配置信息jdbc.properties信息可以存储到一个节点上,集群中的机器启动时读取这个配置信息同时注册一个数据变更的Watcher监听,一旦数据发生变更,所有订阅的客户端机器都会收到通知,然后就可以重新去获取最新的配置信息。

  • 命名服务
    命名服务其实最主要的就是需要给服务生成一个全局唯一的名字,类似数据库主键。通过Zookeeper在创建节点时,可以创建顺序节点,Zookeeper就会自动在节点后面加上一个序号,这个节点的名称就是全局唯一的。

  • 集群管理
    集群管理中比如集群监控,监控系统对Zookeeper的数据节点注册Watcher监听,当每台服务器在Zookeeper注册一个临时节点时,建通系统就能收到通知新增了机器。当集群中某台机器宕机或者下线,对应的临时节点就会被删除,监控系统也能收到对应的Watcher事件通知。

  • Master选举
    最简单的就是所有需要参与Master选举的机器同时向Zookeeper中同一个路径下创建一个名称相同的临时节点,谁创建成功了,谁就是Master。当Master宕机时,临时节点就会被删除,同时通过Watcher通知集群其他机器,重新选举Master。

  • 分布式锁
    排他锁:和Master选举差不多,都去创建节点,谁能创建成功谁就能获取到锁。没有获取到锁的客户端,注册Watcher监听,当获取到锁的客户端宕机或者执行完业务逻辑主动删除这个临时节点时,Watcher通知其他客户端再来竞争锁。

  • 分布式队列
    所有客户端在Zookeeper创建临时顺序节点,判断自己是否是序号最小的,如果不是最小的,需要等待,同时向比自己小的最后一个节点注册Watcher监听。等收到Watcher监听后重复上面的步骤。

三、深入进阶

1.ZAB协议

Zookeeper使用的是ZAB协议来作为其数据一致性的核心算法,ZAB是专门为Zookeeper设计的一种支持崩溃恢复的原子广播协议

ZAB的核心是定义了对于那些会改变Zookeeper服务器数据状态的事务请求的处理方式:
所有事务都必须由一个全局唯一的服务器来协调处理,这样的服务器叫Leader服务器,余下的服务器器称为Follower服务器,Leader服务器负责将客户端事务请求转化成一个事务Proposal(提议),然后发送给所有的Follower服务器,等待超过半数的Follower服务器进行了正确的反馈过后,Leader再次向所有的Follower服务器发起commit消息,进行事务的提交。
在这里插入图片描述

ZAB协议包括两种基本模式:

  • 崩溃恢复模式:
    当服务器启动过程中,或者Leader服务器出现网络异常、崩溃推出或重启等情况,ZAB协议就会进入到崩溃恢复模式,同时选举出新的Leader服务器。当选举出新的Leader服务器,同时集群中已经有过半的机器与Leader服务器完成了状态同步之后,ZAB协议就会退出恢复模式。
  • 消息广播模式:
    当集群中已经有过半的服务器与Leader完成状态同步后,那么就进入到消息广播模式。Zookeeper只允许一个Leader服务器来进行事务处理,就算客户端请求到一个Follower服务器,这个Follower会判断是否是事务请求,也就是写请求,如果是事务请求,那么会把这个请求转发到Leader服务器来处理。Leader服务器接收到请求后,会生成对应的事务提议并发起一轮广播协议。

ZAB协议需要确保那些已经在Leader服务器上提交的事务最终被所有服务器提交
ZAB协议需要确保丢弃那么只在Leader服务器上被提出但没提交的事务

2.服务器角色

1.Leader

Leader服务器是Zookeeper集群工作的核心,主要负责:

  1. 事务请求的唯一调度者,保证集群事务处理的顺序性。
  2. 集群内部各个服务器的调度者。

请求处理链:
在这里插入图片描述

  1. PrepRequestProcessor。请求预处理器,识别当前请求是否是事务请求,对于事务请求,PrepRequestProcessor会对其进行一系列的预处理,比如创建请求事务头、事务体、会话检查、ACL检查、版本检查等。
  2. ProposalRequestProcessor。事务投票处理器,Leader服务器事务处理流程的发起者,对于非事务请求,ProposalRequestProcessor会将请求转发到CommitProcessor处理器,不再做其他处理。而对于事务请求,处理转发到CommitProcessor外,还会根据请请求类型创建对应的Proposal提议,并发送给所有Follower服务器来发起一起集群内事务投票。同时还会将事务请求转发到SyncRequestProcessor进行事务日志的记录。
  3. SyncRequestProcessor。事务日志记录处理器。
  4. AckRequestProcessor。负责在SyncRequestProcessor完成事务日志记录后,向Proposal的投票收集器发送ACK反馈。
  5. CommitProcessor。事务提交处理器,对于非事务请求,直接转发给下一个处理器,对于事务请求,需要等待Proposal投票,知道Proposal可以被提交。
  6. ToBeCommitProcessor。该处理器有一个toBeApplied队列,存储已经被CommitProcessor处理过的可被提交的Proposal。会将请求交付给FinalRequestProcessor处理,处理完成后移出队列。
  7. FinalRequestProcessor。用来进行客户端请求返回之前的操作,包括创建客户端请求响应,针对事务,该处理器还会负责将事务应用到内存数据库中。

2.Follower

Follower作为Zookeeper集群状态中的跟随者,主要负责:

  1. 处理客户端非事务请求(读请求),转发事务请求给Leader服务器
  2. 参与事务请求Proposal的投票
  3. 参与Leader选举

请求处理链:
在这里插入图片描述

  1. FollowerRequestProcessor。其作用是识别当前请求是否是事务请求,如果是,那么会转发给Leader服务器。
  2. SendAckRequestProcessor。事务日志反馈功能,在完成事务日志记录后,向

3.Observer

Observer是Zookeeper从3.0版本开始引入的服务器角色,工作原理和Follower基本一致,只是不参与事务请求Proposal的投票和Leader选举,主要是用于在不影响集群事务处理能力的前提下提升集群的非事务处理能力。

3.服务器启动流程

单机版服务器启动流程:
在这里插入图片描述

集群版服务器启动流程:
在这里插入图片描述

1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。
应用背景为变电站电力巡检,基于YOLO v4算法模型对常见电力巡检目标进行检测,并充分利用Ascend310提供的DVPP等硬件支持能力来完成流媒体的传输、处理等任务,并对系统性能做出一定的优化。.zip深度学习是机器学习的一个子领域,它基于人工神经网络的研究,特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征,这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分: 1. **神经网络(Neural Networks)**:深度学习的基础是人工神经网络,它是由多个层组成的网络结构,包括输入层、隐藏层和输出层。每个层由多个神经元组成,神经元之间通过权重连接。 2. **前馈神经网络(Feedforward Neural Networks)**:这是最常见的神经网络类型,信息从输入层流向隐藏层,最终到达输出层。 3. **卷积神经网络(Convolutional Neural Networks, CNNs)**:这种网络特别适合处理具有网格结构的数据,如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络(Recurrent Neural Networks, RNNs)**:这种网络能够处理序列数据,如时间序列或自然语言,因为它们具有记忆功能,能够捕捉数据中的时间依赖性。 5. **长短期记忆网络(Long Short-Term Memory, LSTM)**:LSTM 是一种特殊的 RNN,它能够学习长期依赖关系,非常适合复杂的序列预测任务。 6. **生成对抗网络(Generative Adversarial Networks, GANs)**:由两个网络组成,一个生成器和一个判别器,它们相互竞争,生成器生成数据,判别器评估数据的真实性。 7. **深度学习框架**:如 TensorFlow、Keras、PyTorch 等,这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数(Activation Functions)**:如 ReLU、Sigmoid、Tanh 等,它们在神经网络中用于添加非线性,使得网络能够学习复杂的函数。 9. **损失函数(Loss Functions)**:用于评估模型的预测与真实值之间的差异,常见的损失函数包括均方误差(MSE)、交叉熵(Cross-Entropy)等。 10. **优化算法(Optimization Algorithms)**:如梯度下降(Gradient Descent)、随机梯度下降(SGD)、Adam 等,用于更新网络权重,以最小化损失函数。 11. **正则化(Regularization)**:技术如 Dropout、L1/L2 正则化等,用于防止模型过拟合。 12. **迁移学习(Transfer Learning)**:利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就,但它也面临着一些挑战,如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值