hashicorp/raft 介绍与源代码分析（三）： 集群节点恢复介绍

已于 2022-02-13 21:00:00 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： 源代码分析 文章标签： raft 源代码分析 golang 分布式 hashicop/raft
于 2022-02-13 20:45:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013272009/article/details/122913567
版权
本文介绍了HashiCorp Raft实现中集群节点恢复的详细过程，包括follower和leader在不同场景下的重启恢复策略。通过分析不同情景，如follower和leader的重启，阐述了节点如何通过日志同步和状态机恢复，确保集群一致性。同时，讨论了日志重入问题和应用逻辑的可靠性，强调了对外部调用幂等问题的关注。
摘要由CSDN通过智能技术生成

集群节点恢复

各种情况下，重新选主成功后，落后的 follower 需要赶上 leader 的状态：

  • follower 已经落地的 log ，需要校对。与 leader 不一致的，直接丢弃
  • follower 从头，或从最近的本地镜像中恢复，并追赶应用 log 到状态机

我们分析几种异常情况下，集群是如何自动恢复正常的：

  • 1 个 follower 重启了，该 follower 如何最终使自己的状态机赶上 leader
  • leader 重启了，且变为 follower，如何最终使自己的状态机赶上 leader
  • leader 重启了，且重新选为 leader ，如何正确恢复自己的状态机

情景分析1 - follower 重启

follower 重启实际上又有 2 种情况：

  • 无镜像
  • 从镜像恢复

不管哪种情况，均能得到自己的 applyIndex applyTerm

然后，follower 会通过追加日志协议，把 applyIndex applyTerm，发给 leader：

leader 会下发自己的 applyIndex 和

了解本专栏 订阅专栏 解锁全文 超级会员免费看
fananchong2
关注
专栏目录
订阅专栏
hashicorp/raft 介绍与源代码分析（一）： Raft 介绍
范安崇的博客
01-09 999
Raft 协议 Raft 是一种为了管理复制日志的一致性算法 由斯坦福的两位教授 Diego Ongaro 和 John Ousterhout 发表的一篇论文提出来的 中英文论文地址，可以参考网友的链接： https://github.com/maemual/raft-zh_cn 论文中主要阐述了，在节点失效是常态化的环境下，一种便于理解的、不失性能的，使所有节点日志数据一致的方法 是分布式算法、一致性算法非常好的入门教材 目前 golang 的比较有名的实作有： hashicorp/raft Cons
hashicorp/raft 介绍与源代码分析（四）：日志复制
范安崇的博客
02-20 322
前言 日志相关内容，在介绍领导人选举时，为了便于理解领导人选举过程，穿插着，介绍了不少 本章，主要汇总、查漏补缺下日志复制内容 日志类型 Raft 把一些控制命令、配置等，都使用日志的方式，使用同一个协议来与其他节点交互 有以下日志类型： // LogType describes various types of log entries. type LogType uint8 const ( // LogCommand is applied to a user FSM. LogCommand LogT
基于hashicorp/raft的分布式一致性实战教学
weixin_34238642的博客
03-01 258
本文由云+社区发表 作者：Super 导语：hashicorp/raft是raft算法的一种比较流行的golang实现，基于它能够比较方便的构建具有强一致性的分布式系统。本文通过实现一个简单的分布式缓存系统来介绍使用hashicorp/raft来构建分布式应用程序的方法。 1. 背景 ​ 对于后台开发来说，随着业务的发展，由于访问量增大的压力和数据容灾的需要，一定会需要使用...
HashiCorp Raft 协议指南
gitblog_00239的博客
08-12 226
HashiCorp Raft 协议指南 raftGolang implementation of the Raft consensus protocol项目地址:https://gitcode.com/gh_mirrors/ra/raft 1. 项目介绍 HashiCorp 的 Raft 是一个设计简单、易于理解的分布式一致性算法，用于在集群中实现日志复制。它主要用于让一组服务器（节点）达成一...
17 | Hashicorp Raft（一）：如何跨过理论和代码之间的鸿沟？
qq_37756660的博客
03-05 960
很多同学在开发系统的时候，都会有这样的感觉：明明自己看了很多资料，掌握了技术背后的原理，可在开发和调试的时候还是很吃力，这是为什么呢？答案很简单，因为理论和实践本来就是两回事，实践不仅需要掌握 API 接口的用法，还需要理解 API 背后的代码实现。所以，如果你在使用 Raft 开发分布式系统的时候，仅仅阅读 Raft 论文或者 Raft 实现的 API 手册，是远远不够的。
bilibili/discovery 介绍与源代码分析 （一）
范安崇的博客
06-09 6910
bilibili/discovery github 地址： https://github.com/bilibili/discovery 该库定性为： 使用 golang 复刻了下 euerka 介绍该库前，先看下 euerka euerka euerka 一个服务发现中间件 与市场上其他产品的比较如下 （摘自 https://www.liangzl.com/get-article-detail-...
Ectd Raft 模块介绍（二）：目录文件介绍
范安崇的博客
09-12 360
Etcd Raft 模块代码位于 Etcd 源代码库的 raft 目录下.├── log.go├── quorum├── raftpb。
Raft 协议原理深度解析与Go源代码实现
最新发布
程序员光剑
09-12 249
在分布式系统中，一致性是一个至关重要的概念。简单来说，一致性指的是多个节点对数据达成一致的视图。例如，在一个分布式数据库中，如果一个节点对某个数据的修改被认为是成功的，那么其他所有节点最终都应该看到相同的修改。为了实现分布式一致性，人们提出了各种协议，其中 Paxos 算法是最著名的一个。然而，Paxos 算法以其复杂性和难以理解而著称。为了解决这个问题，Diego Ongaro 和 John Ousterhout 提出了Raft 算法，这是一种更容易理解和实现的分布式一致性算法。
RocketMQ源代码解析.pdf
03-05
- 分析RocketMQ源代码需要了解raft协议，这是实现主从切换的关键算法。 - raft协议核心包括两个部分：选主（Leader Election）和日志复制（Log Replication）。 - 选主过程是确保系统中有一个节点被选举为领导者...
hashicorp-raft-demo
03-02
hashicorp-raft-demo 一个简单的缓存服务器，显示如何使用hashicorp / raft 创建一个集群 创建领导者 hashicorp-raft-demo --http = 127.0.0.1：6000 --raft = 127.0.0.1：7000 --node = node1 --bootstrap 建立追踪者 hashicorp-raft-demo --http = 127.0.0.1：6001 --raft = 127.0.0.1：7001 --node = node2 --join = 127.0.0.1：6000 hashicorp-raft-demo --http = 127.0.0.1：6002 --raft = 127.0.0.1：7002 --node = node3 --join = 127.0.0.1：6000 参考链接： : 文件介绍 ca
hraftd：Hashicorp的Raft实现的参考使用
02-03
有关此项目的背景信息，请查看此。 哈夫特 hraftd是的参考示例。 是一种分布式共识协议，这意味着它的目的是确保一组节点（即群集）就某些任意状态机的状态达成一致，即使节点易受故障和网络分区的影响也是如此。 在构建容错系统时，分布式共识是一个基本概念。 像hraftd这样的简单示例系统使研究Raft共识协议（尤其是Hashicorp的Raft实现）变得容易。 它可以在Linux，OSX和Windows上运行。 读写键 该参考实现是一个非常简单的内存键值存储。 您可以通过将请求发送到HTTP绑定地址（默认为localhost:11000 ）来设置密钥： curl -XPOST localhost:11000/key -d ' {"foo": "bar"} ' 您可以像这样读取键的值： curl -XGET localhost:11000/key/foo 正在运行 构建Hraftd需要Go 1.13或更高版本。 是用于安装和管理Go版本的好工具。 启动和运行Hraftd集群很容易。 像这样下载hraftd： mkdir hraftd cd hraftd/ export GOP
hashicorp-raft-example:使用Hashicorp的Raft实现的示例
04-29
hashicorp-raft-example 该存储库包含将与一起使用的。
hashicorp/raft-boltdb源码解读
你是魔鬼吧
12-05 657
本意是想解读Hashicorp Raft，看了一下，发现其引用了一些包，也是这个组织开源的模块，所以干脆先看看这些模块是如何实现的，就当是为了Hashicorp Raft做前期的了解 hashicorp/raft-boltdb 该库引用了BoltDB。BoltDB受到LMDB的启发，是一个纯Go实现的简易key/value存储库。 目录结构 以下基于tag:v2.2.0 https://github.com/hashicorp/raft-boltdb/tree/v2.2.0 既然我们是从源码的角度去
使用hashicorp Raft开发高可用服务
2301_78287784的博客
06-17 205
术语Log entry：Raft的主要单元。Raft将一致性问题分解为日志复制。日志是一个有序的表项，其包含了Raft的集群变更信息(如添加/移除节点)以及对应用数据的操作等。。FSM是有限状态的集合。当一条日志被Raft apply后，可以对FSM进行状态转换。相同顺序的日志在apply之后必须产生相同的结果，即行为必须是确定性的。Peer set：指所有参与日志复制的成员。Quorum：仲裁指peer set中的大部分成员：对于包含N个成员的peer set，仲裁要求有(N/2)+1个成员。
golang 分布式事务_基于hashicorp/raft的分布式一致性实战教学
weixin_39643679的博客
11-23 714
本文由云+社区发表作者：Super导语：hashicorp/raft是raft算法的一种比较流行的golang实现，基于它能够比较方便的构建具有强一致性的分布式系统。本文通过实现一个简单的分布式缓存系统来介绍使用hashicorp/raft来构建分布式应用程序的方法。1. 背景 对于后台开发来说，随着业务的发展，由于访问量增大的压力和数据容灾的需要，一定会需要使用分布式的系统，而分布式...
hashicorp:raft源码系列(1)--导读
阿尔卑斯LOVE
12-13 537
文章目录Raft是干啥的？Raft项目包含哪些模块？项目有多少行?从哪里开始？新建Raft节点逻辑？技术点1：atomic.Value技术点2：队头阻塞小小疑问❓ Raft是干啥的？ 动画说明 简述如下图：用户SET 5，3个不同节点都能获取SET 5的操作。所谓的最简单的分布式一致性。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XYWWs734-1639390285359)(https://s4.ax1x.com/2021/12/13/oO3r0P.png)] Raft
hashicorp raft 介绍与源代码分析（二）： 领导人选举（一）
范安崇的博客
01-16 1358
Raft 节点状态 Raft 节点启动后，会在 Follower 、 Candidate 、 Leader 3 个状态间转换，直到关闭 Shutdown // RaftState captures the state of a Raft node: Follower, Candidate, Leader, // or Shutdown. type RaftState uint32 const ( // Follower is the initial state of a Raft node. Foll
Paxos/Raft一致性算法详解：原理与实战应用
本文档深入探讨了Paxos/Raft分布式一致性算法的基本原理和实战应用，由阿里资深专家何登成撰写于2016年8月8日，旨在帮助读者理解分布式一致性问题的核心概念。共识问题是分布式系统中的关键挑战，它要求多个参与者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

fananchong2

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值