理解Raft协议

已于 2023-11-18 20:10:11 修改
阅读量447 收藏
点赞数 19
文章标签： 算法
于 2023-11-18 20:09:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/randavy/article/details/134482921
版权

文章目录

1. 引言

一致性算法的目的是让集群工作的像一个整体，即使部分宕机依然对外提供一致的结果。

在Raft出现之前，Paxos算法是主流的一致性算法，常见的一致性框架，要么是基于Paxos，要么深受Paxos影响，比如Zookeeper。不过Paxos理解起来复杂，Paxos理论和真正的实现还有一定的空白，导致实现更为困难。

Raft一开始的目标就是提供一个比Paxos更容易理解，更方便实现的一致性算法。为此Raft将算法分解为3部分: 领导选举(leader selection)、 日志复制(log replication)、 安全性(safety)， 并且减少内部状态。

Raft算法和Paxos很相似，但额外提供了几个特性:

  • 强领导者(strong leader)，日志同步只能从领导者发往到其他节点
  • 领导选举(leader selection)，使用随机定时器来发起选举领导者，减少冲突的可能。
  • 成员变化(membership change)

本文主要涵盖如下内容:

  1. 复制状态机(replicated state machine)
  2. Paxos的缺点
  3. 提升理解性的方法
  4. Raft一致性方法
  5. 评价Raft算法
  6. 相关工作
1. 复制状态机(Replicated State Machine)

复制状态机用于在一组服务器提供一致的状态副本，即使部分服务器崩溃，这组服务器仍然能对外提供一致的状态。
在这里插入图片描述

复制状态机在分布式系统在多用于解决有关容错的问题。许多系统都需要单一的领导者，如HDFS、 GFS等，使用单独的复制状态机，来完成领导者选举、存储配置信息来应对领导者崩溃。最常见的复制状态机实现有Chubby、 Zookeeper等。

复制状态机使用类使用MySQL的主从同步机制，通过操作日志实现数据复制， 每一条操作日志里包含一定的动作，状态机在副本节点按顺序执行日志， 相同的初始状态，经过了相同的操作，最终一定会得到相同的结果。

如何保证日志复制过程的一致性就是一致性算法的工作。

在工程实践中使用的一致性算法，一般有以下特性:

  • 确保安全性(不会返回一个错误结果)， 非拜占庭问题，要考虑网络延迟、分区、丢包、冗余、乱序
  • 高可用，集群中大部分机器可用，集群就可用
  • 不依赖于时钟来保证时序
  • 数据写入耗时，取决于集群中写入较快的大部分(N/2+1台)，而不是最慢的那一台
2. Paxos的不足

Paxos首先定义了一个能够达成单一决策的一致性协议，我们把它叫做单一决策Paxos(single-decree Paxos)， 之后通过组合多个单一决策Paxos来完成一系列的决策，如一个日志。

Paxos有两个致命的缺点:

  • 不好理解，单一决策的解释比较晦涩，多决策通过单一决策实现，又额外添加了复杂性
  • 难以实现，Paxos论文里详细介绍了单决策部分的逻辑，而多决策仅仅介绍了可能的方法，具体实现和算法的论文之间有巨大的鸿沟
3. 易于理解的设计

Raft的设计目标:

  • 完整的理论基础，供实际系统实现
  • 所有情况下保证安全可用
  • 常规操作必须高效
  • 易于理解，让大部分开发者都能理解

通过两种方式提高可理解性:

  1. 将问题分解， Raft将问题分解为: 领导选举、日志复制、安全、成员变化
  2. 减少需要考虑的状态数量
4. Raft一致性算法

Raft实现中将节点分为3种角色: Leader、Follower、Candidate
在这里插入图片描述

4.1 服务器存储的状态

所有服务器持久存储：

名称描述
currentTerm服务器最后知道的任期号（从 0 开始递增）
votedFor在当前任期内收到选票的候选人 id（如果没有就为 null）
log[]日志条目；每个条目包含状态机的要执行命令和从领导人处收到时的任期号

所有服务器不稳定存储：

名称描述
commitIndex已知的被提交的最大日志条目的索引值（从 0 开始递增）
lastApplied被状态机执行的最大日志条目的索引值（从 0 开始递增）

leader不稳定存储

名称描述
nextIndex[]对于每一个服务器，记录需要发给它的下一个日志条目的索引（初始化为领导人上一条日志的索引值 +1）
matchIndex[]对于每一个服务器，记录已经复制到该服务器的日志的最高索引值（从 0 开始递增）
4.2 日志分发RPC (Append Entries RPC)

由leader发起，负责分发日志到所有的Follower服务器， 这个RPC同时也用做心跳包。

参数描述
term领导人的任期号
leaderId领导人的 id，为了其他服务器能重定向到客户端
prevLogIndex最新日志之前的日志的索引值
prevLogTerm最新日志之前的日志的领导人任期号
entries[]将要存储的日志条目（表示 heartbeat 时为空，有时会为了效率发送超过一条）
leaderCommit领导人提交的日志条目索引值
返回值描述
term当前的任期号，用于领导人更新自己的任期号
success如果其它服务器包含能够匹配上 prevLogIndex 和 prevLogTerm 的日志时为真

Follower实现:

  • 如果term < currentTerm， 返回success=false
  • 如果本机log数组下，log[prevLogIndex]不存在或者log[prevLogIndex]的任期号和prevLogTerm不匹配，返回success=false
  • 如果log里存在一条日志，在prevLogIndex之后，且和entries对应位置的日志，任期号不匹配，则删除log在该位置之后的所有日志
  • 添加任何在entris里，然后log数组相应位置不存在的日志
  • 如果leaderCommit > commitIndex ，将commintIndex设置为leaderCommit并执行对应日志
4.3 投票请求 (RequestVote RPC)

候选人发起投票请求

参数描述
term候选人的任期号
candidateId请求投票的候选人 id
lastLogIndex候选人最新日志条目的索引值
lastLogTerm候选人最新日志条目对应的任期号
返回值描述
term目前的任期号，用于候选人更新自己
voteGranted如果候选人收到选票为 true

接受者实现:

  • 如果term < currentTerm， 返回false
  • 如果候选人日志没有自己新，返回false
  • 如果votedFor为空或者candidateId和votedFor相同，则投票给该候选人
  • 如果term > currentTerm，将votedFor置为candidateId，投票给该候选人
4.4 服务器遵循的规则

所有服务器

  • 如果commitedIndex > lastApplied， lastApplied自增， 将log[lastApplied]应用到状态机
  • 如果RPC请求或响应的term > currentTerm， 将currentTerm设置为term， 把自己切换为Follower

Follower

  • 响应AppendEntries RPC和RequesteVote RPC
  • 如果超时没有收到AppendEntries RPC和RequestVote RPC，将自己转换为候选人

候选人

  • 转变为候选人后发起选举
    • currentTerm自增
    • 给自己投票
    • 重置选举计时器 (用于统计选举超时)
    • 向其他服务器发送RequestVote RPC (也就是每台机器都需要知道其他所有的服务，引擎状态机集群是不能动态添加的)
  • 如果收到多数节点的投票，成为领导人
  • 如果收到新leader的AppendEntries RPC，将自己转换为Follower
  • 如果选举超时，开始新一轮选举

leader

  • 一旦成为leader，向所有服务器发送AppendEntries请求，即使没有日志也定期发送做为心跳
  • 收到客户端请求，向本地log数据写入日志，在日志被commit之后，应用到状态机，然后响应客户端
  • 向Follower(假设机器index是i)发送leader的log下nextIndex[i]到log.length间的所有日志
    • 如果发送成功，nextIndex[i]和matchIndex[i]都设置为log.length
    • 如果发送失败
      • 如果响应的term大于currentTerm, 将自己转换为Follower
      • 说明同步失败是因为log的prevLogIndex和prevLogTerm不匹配，将nextIndex[i]递减
  • 如果存在N
    • currentTerm == log[N].term，保证这条日志是当前leader写入的日志
    • 且matchIndx里多数节点的值 > N，大多数节点已经接收该日志
    • 且N > commitIndex， 这个时候将commitIndex设置为N
4.5 Raft算法总结
性质描述
选举安全原则
Election Safety		一个任期（term）内最多允许有一个领导人被选上（5.2 节）
领导人只增加原则
Leader Append-Only		领导人永远不会覆盖或者删除自己的日志，它只会增加条目
日志匹配原则
Log Matching		如果两个日志在相同的索引位置上的日志条目的任期号相同，
那么我们就认为这个日志从头到这个索引位置之间的条目完全相同（5.3 节）
领导人完全原则
Leader Completeness		如果一个日志条目在一个给定任期内被提交，
那么这个条目一定会出现在所有任期号更大的领导人中
状态机安全原则
State Machine Safety
如果一个服务器已经将给定索引位置的日志条目应用到状态机中，
则所有其他服务器不会在该索引位置应用不同的条目（5.4.3 节）
参考资料
randy.lou
关注
分布式raft协议
09-06
应用方面，Raft协议已经广泛应用于分布式系统中，从数据库的副本同步到分布式存储系统，再到云计算环境中的关键组件，Raft以其在性能、可理解性以及易实现性上的优势，成为了解决分布式系统一致性问题的首选算法之一...
分布式系统的Raft算法学习笔记
weixin_34270606的博客
01-17 379
摘取自:http://mp.weixin.qq.com/s?__biz=MzIyMTQ1NDE0MQ==&mid=2247483979&idx=1&sn=12864382e233fe9b900ab14349404032&chksm=e83dc819df4a410f5959b6922025d317d6c497b7110c4c5d8720fb2b0a70246ce6...
Raft协议深入详解
11-01
以上就是Raft协议的核心知识点，其详尽的解释和使用场景能够帮助人们更好地理解并应用这一重要的共识算法，从而在设计和实现分布式系统时解决共识问题，保证系统在面对网络分区、节点故障等异常情况时的稳定和可靠。
图解分布式系统raft协议-完整版
03-04
Raft协议是一种用于管理分布式系统中复制日志的共识算法，它设计上易于理解，且在实践中也非常可靠。Raft协议主要包含以下几个关键部分：Leader选举（Leader Election）、日志复制（Log Replication）、网络分区处理...
【LeetCode】【算法】136. 只出现一次的数字
passer__jw767的博客
11-12 265
LeetCode 136. 只出现一次的数字
16 合并区间
weixin_47521269的博客
11-12 761
【代码】16 合并区间。
1163：阿克曼(Ackmann)函数
呆萌很的博客
11-12 253
1163：阿克曼(Ackmann)函数
数据库范式、MySQL 架构、算法与树的深入解析
lrh35的博客
11-11 1247
在数据库设计中，范式是一系列规则，用于确保数据的组织和存储具有良好的结构、完整性以及最小化的数据冗余。如果不遵循范式设计，数据可能会以平铺式罗列，仅使用冒号、分号等简单分隔。这种方式存在诸多弊端，例如在数据搜索时极为不便，数据修改也会变得十分棘手。由此，范式的概念应运而生。
1-Equity-Transformer：求解NP-Hard Min-Max路由问题的顺序生成算法（AAAI-24)(完)（code）
太极生两鱼
11-12 185
最小最大路由问题旨在通过智能体合作完成任务来最小化多个智能体中最长行程的长度。这些问题包括对现实世界有重大影响的应用场景，但已知属于NP-hard问题。现有方法在大规模问题上面临挑战，尤其是在需要协调大量智能体以覆盖数千个城市的情况下。本文提出了Equity-Transformer来解决大规模最小最大路由问题。首先，我们采用顺序规划方法来处理最小最大路由问题，使我们能够利用强大的序列生成器（例如，Transformer）。其次，我们提出了关键的归纳偏差，以确保智能体之间的公平工作量分配。
24/11/14 算法笔记 GMM高斯混合模型
yyyy2711的博客
11-14 776
高斯混合模型（Gaussian Mixture Model，简称 GMM）是一种概率模型，用于表示具有多个子群体的数据集，其中每个子群体的数据分布可以用高斯分布（正态分布）来描述。GMM 是一种软聚类方法，意味着它为每个数据点分配一个属于每个聚类的概率分布，而不是硬聚类方法中的严格分类。
初识算法 · 位运算常见总结(1)
更新各种计算机技能~
11-12 744
​本文的主题是位运算，通过常见的知识点讲解，并且会附上5道简单的题目，5道题目的链接分别为：191. 位1的个数 - 力扣（LeetCode）136. 只出现一次的数字 - 力扣（LeetCode）338. 比特位计数 - 力扣（LeetCode）260. 只出现一次的数字 III - 力扣（LeetCode）461. 汉明距离 - 力扣（LeetCode）因为主要是知识点总结，所以题目介绍的不是那么详细，请见谅~那么，进入主题咯。
计算2的N次方
Lemon_C17y的博客
11-15 295
任意给定一个正整数N(N<=100)，计算2的n次方的值。
使用 DBSCAN（基于密度的聚类算法） 对二维数据进行聚类分析
最新发布
C7211BA的博客
11-15 354
使用 make_moons 方法生成一个非线性分布的二维数据集，模拟月亮形状的两个半环形分布，同时添加一定的噪声。
每日小题--买股票的最佳时机
m0_74977981的博客
11-14 524
毋庸置疑，一定需要数组遍历结束后才能确定这么一个买入点和卖出点，所以此时想要提升算法的话就要找到一个只需要遍历一遍就能出结果的方法，即将时间复杂度控制在O(n)；遍历数组的过程中去找数组中是否存在一个低价点，并且在低价点的基础上去判断有无上升空间；即杜绝了{4，3，2，1}的情况出现，买入后无法卖出。在第 2 天（股票价格 = 1）的时候买入，在第 5 天（股票价格 = 6）的时候卖出，最大利润 = 6-1 = 5。后出价最高的一天卖出，简而言之，就是找到一个比起始小，并且结尾在一个有最大差距的位置；
以太坊系地址衍生算法分层确定性生成逻辑
J_Lee
11-12 269
以太坊系地址衍生算法分层确定性生成逻辑
力扣(LeetCode)283. 移动零(Java)
qq_34471880的博客
11-13 513
双指针, 力扣283 复写零
算法——二分查找（leetcode704）
Lemon_man_的博客
11-12 226
接着通过数组的两端得到左指针和右指针继而得到中间指针指向数组中间元素,将中间元素与目标值比较如果大于目标值舍弃数组中间元素右边的一半将右指针重置为中间指针下标-1中间指针重置为左右指针下标之和除以2（如果中间元素与目标值比较小于目标值则舍弃数组中间元素左边的一半将左指针重置为中间指针下标+1）然后就得到剩下左右指针所包括的待对比数组元素重复上述步骤直至找出目标值或者左指针下标大于右指针下标即未找到目标元素。如下分别是左右指针数组边界左闭右闭和左闭右开两种情况的代码。
Dijkstra 算法的实现方案
llhllq2015的博客
11-14 303
GDAL 库：确保你的开发环境已经安装了 GDAL 库，并在 Qt 项目中正确配置了 GDAL 库路径。加载 DEM 文件：使用 GDAL 加载 DEM 文件，并获取像素坐标到地理坐标的转换参数。将 “path/to/your/dem/file.tif” 替换为你的 DEM 文件路径；这段代码可以在 DEM 数据上寻找到避开障碍物的最优路径，并输出路径的地理坐标。Dijkstra 算法：使用优先队列进行路径搜索，寻找代价最低的路径。输出路径：将路径的地理坐标保存到 txt 文件中。下面是实现该功能的代码。
理解Raft协议：从Paxos到易用一致性算法
Raft协议原理详解深入解析了一种相对易于理解的分布式一致性算法，旨在替代难以实现和理解的传统Paxos算法。Paxos曾是一致性协议领域的主导者，但其复杂的理论和实现让许多开发者感到困扰。斯坦福大学的Diego Ongaro...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值