Zookeeper源码分析（7）- SyncRequestProcessor

最新推荐文章于 2023-02-01 15:18:59 发布

vinowan

最新推荐文章于 2023-02-01 15:18:59 发布

阅读量2.3k

点赞数

本文链接：https://blog.csdn.net/vinowan/article/details/22197227

版权

这是个异步处理的processor，启动后会有一个线程异步获取队列中的request并处理

这个 processor负责把写request持久化到本地磁盘，为了提高写磁盘的效率，这里使用的是缓冲写，但是会周期性（1000个request）的调用flush操作，flush之后request已经确保写到磁盘了，这时会把请求传给AckRequestProcessor继续处理

这个processor除了会定期的把request持久化到本地磁盘，同时他还要维护本机的txnlog和snapshot，这里的基本逻辑是：

每隔snapCount/2个request会重新生成一个snapshot并滚动一次txnlog，同时为了避免所有的zookeeper server在同一个时间生成snapshot和滚动日志，这里会再加上一个随机数，snapCount的默认值是10w个request

生成镜像是通过扫描保存在内存中的Datatree和sessionTracker来把状态持久化的，为了提高server的性能，在生成snapshot的时候并未对Datatree和sessionTracker加锁，这里就涉及到保存状态一致的问题，这个问题在zookeeper的论文里就有很好的解释

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

vinowan

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

我的架构梦：（二十二）Zookeeper源码分析之单机模式服务端启动

riemann_的博客

07-29

277

一、源码环境搭建 1、将准备好的zookeeper-release-3.5.4导入IDEA中 2、启动服务端运行主类org.apache.zookeeper.server.ZooKeeperServerMain，将zoo.cfg的完整路径配置在Program arguments。在VM options配置，即指定到conf目录下的log4j.properties： -Dlog4j.configuration=file:/Users/Riemann/Code/framework-source-code-

zookeeper学习笔记之-RequestProcessor详解

huanglei_hacker的博客

07-26

511

PrepRequestProcessor 通常是一个Requestprocessor Chain中的第一个Processor，用来预处理请求。主要包括：检查ACL，如果不匹配ACL，则直接结束对该请求的处理生成并记录ChangeRecord 设置持久化txn 调用下一个RequestProcessor 通俗一点理解就是，过滤Request，不是所有的Request都是合法的，所以需要对Request进行合法的验证，验证通过后，对于Request而言就要进行持久化了，所以Prep..

参与评论您还未登录，请先登录后发表或查看评论

【Zookeeper】源码分析之请求处理链（三）之SyncRequestProcessor

weixin_34072159的博客

02-24

135

一、前言　　在分析了PrepRequestProcessor处理器后，接着来分析SyncRequestProcessor，该处理器将请求存入磁盘，其将请求批量的存入磁盘以提高效率，请求在写入磁盘之前是不会被转发到下个处理器的。二、SyncRequestProcessor源码分析　　2.1 类的继承关系　　　 public class SyncRequestProcessor ex...

ZooKeeper源码分析：Log和Snapshot持久化（SyncRequestProcessor类)

jeff_fangji的专栏

03-03

2016

事务日志的持久化是在SyncRequestProcessor类中实现，并会按照一定的规则滚动日志（关闭当前文件，创建一个新文件），以及生成新的Snapshot。在持久化过程中，使用组提交(Group Commits)来优化磁盘io 操作。组提交是指将多个Request对象的事务作为一次写附加到磁盘上。使用这种方式可以在持久化多个事务的时候，只使用一次磁盘寻道(Disk Seek)的开销。

深夜读码-zookeeper 之SyncRequestProcessor 小代码大优雅

binfu71358的专栏

07-27

213

引言zookeeper的业务处理流程就像工作流一样，其实就是一个单链表；在zookeeper启动的时候，会确立各个节点的角色特性，即leader、follower和observer，每个角色确立后，就会初始化它的工作责任链；本篇要分享的是zookeeper的源码分析之SyncRequestProcessor处理器，其目的是进行持久化，也就是将消息存储到磁盘文件中；代码不多...

SyncRequestProcessor 小代码大优雅

qianfeng_dashuju的博客

07-16

300

　　引言　　zookeeper 的业务处理流程就像工作流一样，其实就是一个单链表;在zookeeper启动的时候，会确立各个节点的角色特性，即leader、follower和observer，每个角色确立后，就会初始化它的工作责任链; 　　　　本篇要分享的是 zookeeper的源码分析之SyncRequestProcessor处理器，其目的是进行持久化，也就是将消息存储到磁盘...

微服务系列（二）(3) ZooKeeper源码分析-part-2

XCXCXCXCX

05-31

299

微服务系列（二）(3) ZooKeeper源码分析-part-2 前文跟踪源码分析了ZooKeeper Server的初始化过程，通讯原理及选举机制，本文将继续进入源码，探究ZooKeeper的存储机制。通过前文的链路追踪，可以知道ZooKeeper的存储核心类是org.apache.zookeeper.server.ZKDatabase 下面就开始分析解读它的实现，它在内存中保存了怎样的数...

【图解源码】Zookeeper3.7源码分析，包含服务启动流程源码、网络通信源码、RequestProcessor处理请求源码

博学谷狂野架构师的博客

06-23

346

Zookeeper是一个高可用的分布式数据管理和协调框架，并且能够很好的保证分布式环境中数据的一致性。在越来越多的分布式系。在越来越多的分布式系统（Hadoop、HBase、Kafka）中，Zookeeper都作为核心组件使用。我们当前课程主要是研究Zookeeper源码，需要将Zookeeper工程导入到IDEA中，老版的zk是通过ant进行编译的，但最新的zk(3.7)源码中已经没了，而多了，也就是说构建方式由原先的Ant变成了Maven，源码下下来后，直接编译、运行是跑不起来的，有一些配置需要调整。Z

zookeeper3.4.5:原始解析-源码解析

03-24

6. **源码分析** 深入Zookeeper的源码，我们可以看到`ZooKeeperServer`类是服务器的核心，负责处理客户端请求和ZAB协议的实现。`RequestProcessor`链式处理请求，而`SyncRequestProcessor`负责处理需要持久化的操作...

ZooKeeper源码分析之完整网络通信流程（二）

long99920的博客

12-12

1502

文章目录2021SC@SDUSC前言SelectorThread总结 2021SC@SDUSC 前言本章进入源码世界来一步一步分析客户端与服务端之间是如何通过ClientCnxn/ServerCnxn来建立起网络通信的。在上一章中已经介绍客户端是如何将请求发送到服务端的，本章将介绍服务端是如何响应客户端请求的，下一章将介绍客户端收到服务端的响应之后是如何操作的。 SelectorThread 在上一章讲述到客户端将请求发送到服务端时，会将传输的请求包写入缓冲区中。此时服务端将通过SelectorThrea

zookeeper源码分析之RequestProcessor

qq_33513250的博客

01-14

1839

目录一、RequestProcessor 二、PrepRequestProcessor 三、SyncRequestProcessor 四、FinalRequestProcessor 一、RequestProcessor 请求处理器被链接在一起以处理事务。请求总是按顺序处理的。独立服务器和主从服务器将稍微不同的请求处理器链接在一起。请求总是通过请求处理器链向前移动。请求通过proces...

SyncRequestProcessor事务日志记录处理器

weixin_36145588的博客

08-13

749

概括SyncRequestProcessor主要用来将事务请求记录到事务日志文件中，同时还会在合适时候触发zookeeper进行数据快照。SyncRequestProcessor是个异步处理的processor，启动后会有一个线程异步获取队列queuedRequests中的request并处理SyncRequestProcessorr负责把事务请求（写request）持久化到本地磁盘，为了提高写磁盘

Zookeeper源码阅读之四(RequestProcessor)

ijbuhv的专栏

10-19

488

本次阅读的zookeeper的版本是3.4.19 RequestProcessor是zookeeper对用户请求的核心处理逻辑之处，RequestProccssor通过构建成不同的调用链来完成不同角色下对请求的处理的逻辑。下面图展示了Leader角色服务器下对事务消息的处理逻辑，其中黑色线条表示的是RequestProcessor的处理链。可以看到它的第一个处理器是PreRequestProcessor,这个处理器的主要作用有鉴权以及事务请求加上TxnHeader等信息。其后面接的是Pro...

zookeeper源码分享四 ---- RequestProcessor 处理链路

最新发布

wzl1369248650的博客

02-01

250

zookeeper 源码分享

Zookeper源码分析之请求调用链(三)SyncRequestProcessor类

m0_37941483的博客

05-06

155

一、前言在分析了PrepRequestProcessor处理器后，接着来分析SyncRequestProcessor，该处理器将请求存入磁盘，其将请求批量的存入磁盘以提高效率，请求在写入磁盘之前是不会被转发到下个处理器的。二、SyncRequestProcessor源码分析 2.1 类的继承关系 public class SyncRequestProcessor extends Threa...

带着问题撸源码系列-zookeeper-不同的RequestProcessor之间是什么关系，如何协调？

stevewong的专栏

05-14

287

问题带着问题撸源码系列-zookeeper-不同的RequestProcessor之间是什么关系，如何协调？参考思考了颇久实在没找到突破的方法，只好找网上文章找突破口了：添加链接描述读源码在这里配置每个RequestProcessor的关系，先调用哪个再调用哪个： org.apache.zookeeper.server.quorum.FollowerZooKeeperServer#setupRequestProcessors 可以看到是可以看到，第一个是FollowerRequestProc

Zookeeper源码分析（8）- CommitProcessor

vinowan的专栏

03-26

2198

这个processor主要负责将已经完成本机submit的request和已经在集群中达成commit的request匹配，并将匹配后的request交给nextProcessor（即ToBeAppliedRequestProcessor）处理这是个异步处理的processor，它有两个入口：一个是前面的processor调用的processRequest，它把request放到

ToBeAppliedRequestProcessor

weixin_36145588的博客

08-16

459

ToBeAppliedRequestProcessor处理器是Leader的一个内部类，主要是为了维护Leader类的toBeApplied队列，专门用来存储那些已经被 CommitProcessor处理过的可被提交的（已经完成投票）proposal。但是这些proposal还没有应用到本机的内存中（这个工作是由FinalRequestProcessor来完成的）CommitProcessor的pr

CommitProcessor事务提交处理器

weixin_36145588的博客

08-16

1018

这个processor主要负责将已经完成本机submit的request和已经在集群中达成commit（即收到过半follower的proposal ack）的request匹配，并将匹配后的request交给nextProcessor（对于leader来说是ToBeAppliedRequestProcessor）处理。这是个异步处理的processor，它有两个入口：首先对两个队列进行重点介绍：

Zookeeper-3.3.5源码分析与应用实践

13. 详细代码分析：对ZooKeeper源码进行了深入解读，有助于理解其内部工作原理。此文档不仅适合ZooKeeper的初学者，也对有经验的开发者具有参考价值，能够帮助读者更好地理解和使用ZooKeeper，解决实际开发中的...