Zookeeper源码分析（8）- CommitProcessor

最新推荐文章于 2024-09-23 15:09:53 发布

vinowan

最新推荐文章于 2024-09-23 15:09:53 发布

阅读量2.2k

点赞数

本文链接：https://blog.csdn.net/vinowan/article/details/22197385

版权

这个processor主要负责将已经完成本机submit的request和已经在集群中达成commit的request匹配，并将匹配后的request交给nextProcessor（即ToBeAppliedRequestProcessor）处理

这是个异步处理的processor，它有两个入口：

一个是前面的processor调用的processRequest，它把request放到队列queuedRequests中

另一个是leader在收到follower的ack包后，调用的processAck函数，如果leader收到了足够的ack包，他会调用这个processord的commit函数，这个函数把请求放入到队列committedRequests中

这个processor还会启动一个线程，他的主要是逻辑就是匹配queuedRequests和committedRequests中的request，匹配是基于两个队列的对首比较的，然后比较两个队列对首的以下元素：

request的txnHeader

request的record

request的zxid

如果都匹配上了就把这个request发给ToBeAppliedRequestProcessor处理

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

vinowan

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

zookeeper源码分析之RequestProcessor

qq_33513250的博客

01-14

1855

目录一、RequestProcessor 二、PrepRequestProcessor 三、SyncRequestProcessor 四、FinalRequestProcessor 一、RequestProcessor 请求处理器被链接在一起以处理事务。请求总是按顺序处理的。独立服务器和主从服务器将稍微不同的请求处理器链接在一起。请求总是通过请求处理器链向前移动。请求通过proces...

CommitProcessor事务提交处理器

weixin_36145588的博客

08-16

1030

这个processor主要负责将已经完成本机submit的request和已经在集群中达成commit（即收到过半follower的proposal ack）的request匹配，并将匹配后的request交给nextProcessor（对于leader来说是ToBeAppliedRequestProcessor）处理。这是个异步处理的processor，它有两个入口：首先对两个队列进行重点介绍：

参与评论您还未登录，请先登录后发表或查看评论

zookeeper源码分析-Processor保证数据一致性

suixinm的专栏

01-02

305

zookeeper源码分析，Processor保证数据一致性入口书接上篇博客中的ZK集群启动后完成数据的统一性恢复后,来到启动ZkServer的逻辑,接下来的重点工作就是启动不同角色的对应的不同的处理器Processor 如上图查看ZooKeeperServer的继承图,三种不同的角色有不同的ZooKeeperServer的实现逻辑类三者启动时,都将会来到ZooKeeperServer.java中的startUp()方法中,源码如下,但是,不同的角色针对setupRequestPro...

Zookeeper

最新发布

YCyjs的博客

09-23

3577

zookeeper。

Zookeeper Processors

flyingzc的博客

12-15

271

processors PrepRequestProcessor 通常是请求处理链的第一个处理器. 识别客户端请求是否是事务请求.对于事务请求,做预处理,诸如创建请求事务头,事务体,会话检查,ACL检查和版本检查等. ProposalRequestProcessor leader 服务器的事务投票处理器,也是 leader 服务器事务处理流程的发起者. 对于非事务请求,它会直接将请求流转到 CommitProcessor 处理器,不再做其他处理. 对于事务请求,除了将请求交给CommitP

[ZooKeeper]Two-phased Commit机制活动图

zjysource的专栏

06-08

798

Zookeeper源码分析（11）- FollowerRequestProcessor

vinowan的专栏

03-26

1455

FollowerRequestProcessor是Follower的request processor链条中的第一个，它的主要作用就是把读操作发送到后面的processor来处理，并把写操作封装成为Request请求发送给Leader来处理 FollowerRequestProcessor是一个异步处理的processor，调用processRequest只是把请求发到queuedRe

手把手带你撸zookeeper源码-zookeeper故障重启时如何恢复数据(二)

badly的博客

08-15

1014

上篇文章手把手带你撸zookeeper源码-zookeeper故障重启时如何恢复数据(一)分析了在zookeeper启动的时候从本地日志文件中如何恢复数据，先获取快照文件中的数据然后反序列化到内存中，接着再对日志文件进行增量逐条回放，本篇文章详细分析一下在启动的时候如何和leader建立连接，然后从leader中如何同步数据到本地内存的如果当前存在一个zookeeper集群，现在不管是对原有的zookeeper进行重启，还是新加入一台zookeeper节点，此时zookeeper要么是obse...

zookeeper源码分析

tryingpfq的博客

04-01

230

在看分布式有关的东西，然后就有用到zookeeper，觉得好奇，就打算把源码看看。看这篇之前，如果想先对zk有个感性认识，可以看下上一篇，本文主要是基于自己看源码时候的理解，当然可能有些地方理解有误，还有很多没有看懂的地方。但看我这篇，多少会有些理解，比如启动过程选举过程集群节点通信客户端连接集群节点数据同步源码构建这里就不多说了，参考：zookeeper源码构建 ZK集群模式启...

手把手带你撸zookeeper源码-zookeeper集群之间如何进行ping探活机制

badly的博客

08-16

1022

上两篇文章手把手带你撸zookeeper源码-zookeeper故障重启时如何恢复数据(一) 手把手带你撸zookeeper源码-zookeeper故障重启时如何恢复数据(二) 已经详细的把zookeeper故障重启时如何恢复数据给详细的剖析完了，这篇文章我们继续剖析一下在leader和follower数据同步完成之后，leader还会继续做哪些事情，以及如何实现ping机制的在上篇文章讲到leader同步完数据之后，会发送一个UPTODATE的通知给follower，表示数据已经同步完毕，fo

手把手带你撸zookeeper源码-zookeeper的sessionId生成策略和follower调用链初始化

badly的博客

08-09

667

继上篇文章手把手带你撸zookeeper源码-zookeeper中follower启动的时候会做什么?，分析到了follower启动之后和leader建立了链接，并且把自己本地最新的zxid发送给leader，然后leader根据follower发送过来的zxid来判断如何把最新的数据同步给follower 今天继续分析Learner.syncWithLeader()方法中的代码, 首先我们来看下面的一行代码 zk.createSessionTracker(); 看字面意思是创建会话跟踪器，..

ZooKeeper分析-读写请求篇

小张的专栏

05-10

3377

前言在前面中，我们已经了解了ZooKeeper 集群的启动，Leader 选举相关流程，下面我们一起来看看ZooKeeper 读写请求处理中的一些相关细节。 ZooKeeper 系列文章会讲一些重要的功能和概念，主要包括：重要概念介绍 - 整体视图的认识服务端启动流程集群选举过程读写请求操作会话管理数据与存储本节主要讲一下读写请求操作流程,对于前面内容可以点击相关链接进行跳转。概述在Zookeeper中对于请求分为两类：事务性请求非事务性请求所谓事务性请求，说白了就

zookeeper源码解析（一）

par_ser的博客

10-03

425

前言从ZKDatabase说起 server.ZKDatabase类：该类维护了zookeeper的树形结构数据模型，

Zookeeper源码分析（6）- ProposalRequestProcessor

vinowan的专栏

03-26

1615

这个Process会把request分发到两条责任链上，一条用于把修改操作写到本地磁盘，另一条负责把得到commit的request来修改本地的状态这是个一个同步处理的processor，但后续的两个process（SyncRequestProcessor和CommitProcessor）都是异步提交的，这样就保证了这个process的处理不会被柱塞这个processor的处理

Zookeeper源码分析（7）- SyncRequestProcessor

vinowan的专栏

03-26

2387

这是个异步处理的processor，启动后会有一个线程异步获取队列中的request并处理这个 processor负责把写request持久化到本地磁盘，为了提高写磁盘的效率，这里使用的是缓冲写，但是会周期性（1000个request）的调用flush操作，flush之后request已经确保写到磁盘了，这时会把请求传给AckRequestProcessor继续处理这个proc

zookeeper原理使用场景

zjw11763的专栏

06-18

1941

hive.metastore.local true javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver

Zookeeper 集群工作原理

杨宇昌的博客

04-26

689

Zookeeper 集群、Leader选举、ZAB协议、2pc

从Paxos到Zookeeper（二）Two-Phase Commit & Three-Phase Commit

Qbit编程学习笔记

10-23

243

两阶段提交简单来看就是coordinator向participant发出了两次命令，第一次是prepare，第二次是commit或者rollback。其中第一次的prepare相当于一次预演，在确保大家都能成功的情况下才会提交，从而避免了大家不一致的情况。为了让预演时成功就能在第二阶段成功，这要求participant在prepare后不能再修改。三阶段提交时coordinator向participant发出了三次命令，第一次是canCommit，第二次是PreCommit或者abort，第三个是doC

【ZooKeeper】请求处理

菜鸡也有大佬梦

05-04

563

1 会话创建请求 ZooKeeper 服务端对于会话创建的处理，大体可以分为请求接收、会话创建、预处理、事务处理、事务应用和会话响应 6 大环节，其大体流程如图 7-39 所示。请求接收 I/O 层接收来自客户端的请求。在 ZooKeeper 中， NIOServerCnxn 实例维护每一个客户端连接，客户端与服务端的所有通信都是由 NIOServerCnxn 负责的——其负责统一接收来自客户端的所有请求，并将请求内容从底层网络 I/O 中完整地读取出来。判断是否是客户端“会话创建”