Zookeeper源码分析（7）- SyncRequestProcessor

最新推荐文章于 2023-02-01 15:18:59 发布
最新推荐文章于 2023-02-01 15:18:59 发布
阅读量2.3k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vinowan/article/details/22197227
版权

这是个异步处理的processor，启动后会有一个线程异步获取队列中的request并处理

 

这个 processor负责把写request持久化到本地磁盘，为了提高写磁盘的效率，这里使用的是缓冲写，但是会周期性（1000个request）的调用flush操作，flush之后request已经确保写到磁盘了，这时会把请求传给AckRequestProcessor继续处理

 

这个processor除了会定期的把request持久化到本地磁盘，同时他还要维护本机的txnlog和snapshot，这里的基本逻辑是：

  • 每隔snapCount/2个request会重新生成一个snapshot并滚动一次txnlog，同时为了避免所有的zookeeper server在同一个时间生成snapshot和滚动日志，这里会再加上一个随机数，snapCount的默认值是10w个request

 

 

生成镜像是通过扫描保存在内存中的Datatree和sessionTracker来把状态持久化的，为了提高server的性能，在生成snapshot的时候并未对Datatree和sessionTracker加锁，这里就涉及到保存状态一致的问题，这个问题在zookeeper的论文里就有很好的解释


vinowan
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
我的架构梦：（二十二）Zookeeper源码分析之单机模式服务端启动
riemann_的博客
07-29 275
一、源码环境搭建 1、将准备好的zookeeper-release-3.5.4导入IDEA中 2、启动服务端 运行主类org.apache.zookeeper.server.ZooKeeperServerMain，将zoo.cfg的完整路径配置在Program arguments。 在VM options配置，即指定到conf目录下的log4j.properties： -Dlog4j.configuration=file:/Users/Riemann/Code/framework-source-code-
zookeeper学习笔记之-RequestProcessor详解
huanglei_hacker的博客
07-26 511
PrepRequestProcessor 通常是一个Requestprocessor Chain中的第一个Processor，用来预处理请求。 主要包括： 检查ACL，如果不匹配ACL，则直接结束对该请求的处理 生成并记录ChangeRecord 设置持久化txn 调用下一个RequestProcessor 通俗一点理解就是，过滤Request，不是所有的Request都是合法的，所以需要对Request进行合法的验证，验证通过后，对于Request而言就要进行持久化了，所以Prep..
【Zookeeper】源码分析之请求处理链（三）之SyncRequestProcessor
weixin_34072159的博客
02-24 135
一、前言 　　在分析了PrepRequestProcessor处理器后，接着来分析SyncRequestProcessor，该处理器将请求存入磁盘，其将请求批量的存入磁盘以提高效率，请求在写入磁盘之前是不会被转发到下个处理器的。 二、SyncRequestProcessor源码分析 　　2.1 类的继承关系　　　 public class SyncRequestProcessor ex...
ZooKeeper源码分析：Log和Snapshot持久化（SyncRequestProcessor类)
jeff_fangji的专栏
03-03 2016
事务日志的持久化是在SyncRequestProcessor类中实现，并会按照一定的规则滚动日志（关闭当前文件，创建一个新文件），以及生成新的Snapshot。在持久化过程中，使用组提交(Group Commits)来优化磁盘io 操作。组提交是指将多个Request对象的事务作为一次写附加到磁盘上。使用这种方式可以在持久化多个事务的时候，只使用一次磁盘寻道(Disk Seek)的开销。
深夜读码-zookeeper 之SyncRequestProcessor 小代码 大优雅
binfu71358的专栏
07-27 211
引言zookeeper的业务处理流程就像工作流一样，其实就是一个单链表；在zookeeper启动的时候，会确立各个节点的角色特性，即leader、follower和observer，每个角色确立后，就会初始化它的工作责任链；本篇要分享的是zookeeper的源码分析之SyncRequestProcessor处理器，其目的是进行持久化，也就是将消息存储到磁盘文件中；代码不多...
SyncRequestProcessor 小代码 大优雅
qianfeng_dashuju的博客
07-16 300
　　引言 　　zookeeper 的业务处理流程就像工作流一样，其实就是一个单链表;在zookeeper启动的时候，会确立各个节点的角色特性，即leader、follower和observer，每个角色确立后，就会初始化它的工作责任链; 　　 　　本篇要分享的是 zookeeper的源码分析之SyncRequestProcessor处理器，其目的是进行持久化，也就是将消息存储到磁盘...
微服务系列（二）(3) ZooKeeper源码分析-part-2
XCXCXCXCX
05-31 298
微服务系列（二）(3) ZooKeeper源码分析-part-2 前文跟踪源码分析了ZooKeeper Server的初始化过程，通讯原理及选举机制，本文将继续进入源码，探究ZooKeeper的存储机制。 通过前文的链路追踪，可以知道ZooKeeper的存储核心类是org.apache.zookeeper.server.ZKDatabase 下面就开始分析解读它的实现，它在内存中保存了怎样的数...
【图解源码】Zookeeper3.7源码分析，包含服务启动流程源码、网络通信源码、RequestProcessor处理请求源码
博学谷狂野架构师的博客
06-23 341
Zookeeper是一个高可用的分布式数据管理和协调框架，并且能够很好的保证分布式环境中数据的一致性。在越来越多的分布式系。在越来越多的分布式系统（Hadoop、HBase、Kafka）中，Zookeeper都作为核心组件使用。我们当前课程主要是研究Zookeeper源码，需要将Zookeeper工程导入到IDEA中，老版的zk是通过ant进行编译的，但最新的zk(3.7)源码中已经没了，而多了，也就是说构建方式由原先的Ant变成了Maven，源码下下来后，直接编译、运行是跑不起来的，有一些配置需要调整。Z
zookeeper3.4.5:原始解析-源码解析
03-24
6. **源码分析** 深入Zookeeper的源码，我们可以看到`ZooKeeperServer`类是服务器的核心，负责处理客户端请求和ZAB协议的实现。`RequestProcessor`链式处理请求，而`SyncRequestProcessor`负责处理需要持久化的操作...
ZooKeeper源码分析之完整网络通信流程（二）
long99920的博客
12-12 1500
文章目录2021SC@SDUSC前言SelectorThread总结 2021SC@SDUSC 前言 本章进入源码世界来一步一步分析客户端与服务端之间是如何通过ClientCnxn/ServerCnxn来建立起网络通信的。在上一章中已经介绍客户端是如何将请求发送到服务端的，本章将介绍服务端是如何响应客户端请求的，下一章将介绍客户端收到服务端的响应之后是如何操作的。 SelectorThread 在上一章讲述到客户端将请求发送到服务端时，会将传输的请求包写入缓冲区中。此时服务端将通过SelectorThrea
zookeeper源码分析之RequestProcessor
qq_33513250的博客
01-14 1839
目录 一、RequestProcessor 二、PrepRequestProcessor 三、SyncRequestProcessor 四、FinalRequestProcessor 一、RequestProcessor 请求处理器被链接在一起以处理事务。请求总是按顺序处理的。独立服务器和主从服务器将稍微不同的请求处理器链接在一起。请求总是通过请求处理器链向前移动。请求通过proces...
SyncRequestProcessor事务日志记录处理器
weixin_36145588的博客
08-13 749
概括SyncRequestProcessor主要用来将事务请求记录到事务日志文件中，同时还会在合适时候触发zookeeper进行数据快照。SyncRequestProcessor是个异步处理的processor，启动后会有一个线程异步获取队列queuedRequests中的request并处理SyncRequestProcessorr负责把事务请求（写request）持久化到本地磁盘，为了提高写磁盘
Zookeeper源码阅读之四(RequestProcessor)
ijbuhv的专栏
10-19 485
本次阅读的zookeeper的版本是3.4.19 RequestProcessor是zookeeper对用户请求的核心处理逻辑之处，RequestProccssor通过构建成不同的调用链来完成不同角色下对请求的处理的逻辑。 下面图展示了Leader角色服务器下对事务消息的处理逻辑，其中黑色线条表示的是RequestProcessor的处理链。 可以看到它的第一个处理器是PreRequestProcessor,这个处理器的主要作用有鉴权以及事务请求加上TxnHeader等信息。其后面接的是Pro...
zookeeper源码分享四 ---- RequestProcessor 处理链路
最新发布
wzl1369248650的博客
02-01 249
zookeeper 源码分享
Zookeper源码分析之请求调用链(三)SyncRequestProcessor类
m0_37941483的博客
05-06 154
一、前言 在分析了PrepRequestProcessor处理器后，接着来分析SyncRequestProcessor，该处理器将请求存入磁盘，其将请求批量的存入磁盘以提高效率，请求在写入磁盘之前是不会被转发到下个处理器的。 二、SyncRequestProcessor源码分析 2.1 类的继承关系 public class SyncRequestProcessor extends Threa...
带着问题撸源码系列-zookeeper-不同的RequestProcessor之间是什么关系，如何协调？
stevewong的专栏
05-14 286
问题 带着问题撸源码系列-zookeeper-不同的RequestProcessor之间是什么关系，如何协调？ 参考 思考了颇久实在没找到突破的方法，只好找网上文章找突破口了： 添加链接描述 读源码 在这里配置每个RequestProcessor的关系，先调用哪个再调用哪个： org.apache.zookeeper.server.quorum.FollowerZooKeeperServer#setupRequestProcessors 可以看到是 可以看到，第一个是FollowerRequestProc
Zookeeper源码分析（8）- CommitProcessor
vinowan的专栏
03-26 2196
这个processor主要负责将已经完成本机submit的request和已经在集群中达成commit的request匹配，并将匹配后的request交给nextProcessor（即ToBeAppliedRequestProcessor）处理   这是个异步处理的processor，它有两个入口： 一个是前面的processor调用的processRequest，它把request放到
ToBeAppliedRequestProcessor
weixin_36145588的博客
08-16 459
ToBeAppliedRequestProcessor处理器是Leader的一个内部类，主要是为了维护Leader类的toBeApplied队列，专门用来存储那些已经被 CommitProcessor处理过的可被提交的（已经完成投票）proposal。但是这些proposal还没有应用到本机的内存中（这个工作是由FinalRequestProcessor来完成的）CommitProcessor的pr
CommitProcessor事务提交处理器
weixin_36145588的博客
08-16 1018
这个processor主要负责将已经完成本机submit的request和已经在集群中达成commit（即收到过半follower的proposal ack）的request匹配，并将匹配后的request交给nextProcessor（对于leader来说是ToBeAppliedRequestProcessor）处理。这是个异步处理的processor，它有两个入口：首先对两个队列进行重点介绍：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值