EasyRAFT

最新推荐文章于 2024-09-02 22:29:33 发布
最新推荐文章于 2024-09-02 22:29:33 发布
阅读量265 收藏
点赞数
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35040959/article/details/133309443
版权

EasyRaft 介绍

EasyRaft是Raft（共识算法）的Java实现，主要目的在于提供一种高性能的分布式一致性协议。

覆盖Jraft实现的功能

分布式一致性

分布式一致性 (distributed consensus) 是分布式系统中最基本的问题，用来保证一个分布式系统的可靠性以及容灾能力。简单的来讲，就是如何在多个机器间对某一个值达成一致, 并且当达成一致之后，无论之后这些机器间发生怎样的故障，这个值能保持不变。 抽象定义上， 一个分布式系统里的所有进程要确定一个值 v，如果这个系统满足如下几个性质， 就可以认为它解决了分布式一致性问题, 分别是:

  • Termination: 所有正常的进程都会决定 v 具体的值，不会出现一直在循环的进程。
  • Validity: 任何正常的进程确定的值 v’, 那么 v’ 肯定是某个进程提交的。比如随机数生成器就不满足这个性质。
  • Agreement: 所有正常的进程选择的值都是一样的。

RAFT

RAFT 是一种新型易于理解的分布式一致性复制协议，由斯坦福大学的 Diego Ongaro 和 John Ousterhout 提出，作为 RAMCloud 项目中的中心协调组件。Raft 是一种 Leader-Based 的 Multi-Paxos 变种，相比 Paxos、Zab、View Stamped Replication 等协议提供了更完整更清晰的协议描述，并提供了清晰的节点增删描述。 Raft 作为复制状态机，是分布式系统中最核心最基础的组件，提供命令在多个节点之间有序复制和执行，当多个节点初始状态一致的时候，保证节点之间状态一致。系统只要多数节点存活就可以正常处理，它允许消息的延迟、丢弃和乱序，但是不允许消息的篡改（非拜占庭场景）。

在这里插入图片描述
Raft 可以解决分布式理论中的 CP，即一致性和分区容忍性，并不能解决 Available 的问题。其中包含分布式系统中一些通常的功能：

  • Leader Election
  • Log Replication
  • Membership Change
  • Log Compaction

RAFT 可以做什么

通过 RAFT 提供的一致性状态机，可以解决复制、修复、节点管理等问题，极大的简化当前分布式系统的设计与实现，让开发者只关注于业务逻辑，将其抽象实现成对应的状态机即可。基于这套框架，可以构建很多分布式应用：

  • 分布式锁服务，比如 Zookeeper
  • 分布式存储系统，比如分布式消息队列、分布式块系统、分布式文件系统、分布式表格系统等
  • 高可靠元信息管理，比如各类 Master 模块的 HA

同时RAFT贴近业务的抽象设计，方便适配业务；

EASY RAFT

一个纯 Java 的 Raft 算法实现库, 基于百度 braft 实现而来, 使用 Java 重写了所有功能, 支持:

Leader election and priority-based semi-deterministic leader election.
Replication and recovery.
Snapshot and log compaction.
Read-only member (learner).
Membership management.
Fully concurrent replication.
Fault tolerance.
Asymmetric network partition tolerance.
Workaround when quorate peers are dead.
Replication pipeline optimistic
Linearizable read, ReadIndex/LeaseRead.

个性实现

在EasyRAFT中的自主特殊实现，而没使用通用组件库：

  • 场景特化的LSM数据库
  • 基于原生NIO实现的高并发网络架构
  • 角色抽象设计

主要参考

  • 《In Search of an Understandable Consensus Algorithm》
  • 《数据密集型应用系统设计》
  • 《深入理解Kafka-核心设计与实践原理》
  • 《Kafka源码解析与实践》
  • Kafka源码
  • Nacos源码
  • Netty源码
  • Jraft源码

核心设计

在这里插入图片描述

Role State

单一节点会在三种角色中流转状态，采用了状态模式控制行为，如Leader在包含特殊的行为：

  • 配置变更
  • 同步条目
  • 提交日志
  • 副本日志维护
    在这里插入图片描述

存储

包括Meta存储与Log存储，自主研发的实现：

  • Log 存储，记录 raft 配置变更和用户提交任务的日志，将从 Leader 复制到其他节点上。LogStorage 是定义接口（可实现其它的储存库），包括缓存、读写日志、截断等。
  • Meta 存储，元信息存储,记录 raft 实现的内部状态，比如已提交的偏移量。

RPC

RPC 模块用于节点之间的网络通讯，基于原生NIO、Selector的RPC网络架构，自主研发实现：

  • RPCNetServer: 内置于 Node 内的 RPC 服务器，接收其他节点或者客户端发过来的请求。
  • RpcDistribute: 转交给对应请求分发给指定监听的方法。

技术实现

在这里插入图片描述

整体模块图

RAFT DB

RAFT DB是专门适配Raft协议的储存库，是LSM类型数据库但没有WAL，同时在日志压缩上做了更匹配RAFT的方案。

在这里插入图片描述

详细实现原理

高性能性能基础原理：

  • SSTable：顺序写入。
  • Index：MappedByteBuffer（页缓存零拷贝）。
  • Meta：MappedByteBuffer（页缓存零拷贝）。

此外在并发控制上：

  • 单线程写入。
  • 多线程读取。

而在数据结构上：

  • SSTable： 非定长数据结构依赖Index定位数据。
  • Index：定长的稀疏数据结构，1M即可映射131072条数据。
  • Meta：定长的KV结构。

对比性能

Rocks是一个日志式(LSM)K-V数据库,由FaceBook开发旨在提供高速的数据持久化和读写能力，适用于需要快速存储和检索大量数据的应用程序。使用RocksDB的项目包括Flink、TiKV等；

测试一.插入数据

在此基准测试运行开始时，数据库为空，并逐渐填满。数据加载过程中未读取任何数据。

数据库类型版本平均吞吐量标准差最小最大波动程度置信率同比差率
RaftDB1.0390592.6503469.357 ops/s384407.308395535.1431865.43499.9%100%
RocksDB8.3298498.6602671.176 ops/s293204.765302760.6282498.62099.9%76.4%
测试二.随机读取

测量性能以随机读取现有数据(1000w数据为基础)。

数据库类型版本缓存平均吞吐量标准差最小最大波动程度置信率同比差率
RaftDB1.0关闭102574.6921030.314 ops/s100099.588103989.586963.75799.9%88.1%
RocksDB8.3关闭116429.1393580.538 ops/s108565.503119586.1283349.23799.9%100%
测试三.Raft场景特化案例

此外还有更多的测试用例，不一一展示了

RPC Net

RPC Net是基于JDK NIO实现的RPC架构，设计核心是高并发、可控。

抽象设计

根据Selector模型的事件抽象出，建立连接与读写操作分离的模型。
在这里插入图片描述

线程与消费模型

整体是一个非阻塞的模型，所以不需要很多的线程（读取后投递队列，不处理业务），合适的线程配置是1：4，即一个线程负责接收连接，4个线程负责接收与写入数据等
在这里插入图片描述

更加详细的网络模型

四个队列实现非阻塞的操作，所以该模型可以用少量的线程完成高并发的运转
在这里插入图片描述

并发测试用例
网络框架版本平均吞吐量同比差率
RPC Net1.0349083.983100%
Netty4.1319393.51991.4%

并发控制

项目中有大量的并发风险控制、延迟任务，定制适合场景的多线程工具，精化场景，以下是类图：
在这里插入图片描述

使用指南

基本概念

  • log index 提交到 raft group 中的任务都将序列化为一条日志存储下来，每条日志一个编号，在整个 raft group 内单调递增并复制到每个 raft 节点。
  • term 在整个 raft group 中单调递增的一个 int 数字，可以简单地认为表示一轮投票的编号，成功选举出来的 leader 对应的 term 称为 leader term，在这个 leader 没有发生变更的阶段内提交的日志都将拥有相同的 term 编号。

配置和辅助类

本节主要介绍 Easy RAFT 的配置和辅助工具相关接口和类。核心包括：

Endpoint 表示一个服务地址。
PeerId 表示一个 raft 参与节点。
Configuration 表示一个 raft group 配置，也就是节点列表。

节点

SERVICE_LOCAL_NODES表示一个服务地址，包括 IP 和端口， 并设置了比重，该比重影响优先选举权，如下例：

            Properties properties = new Properties();
            properties.put(ConfigConstants.SERVICE_ID, "id");
            //本地节点&优先选举比重
            properties.put(ConfigConstants.SERVICE_LOCAL_NODES, "1,localhost:9094,[node_weight:500]");
            //集群节点
            properties.put(ConfigConstants.SERVICE_NODES, "2,localhost:9091;3,localhost:9092;3,localhost:9093;");
            ServerConfig serverConfig = new ServerConfig(properties);

配置

其中包括但不限于以下配置：

SERVICE_ROOT_DIR //根目录
SERVICE_QUORUM_RATE //quorum比例
SERVICE_RECORDING_LEVEL//监控等级
SEGMENT_MAX_SIZE//单个Segment大小
SEGMENT_OFFSET_INDEX_MAX_SIZE//Segment稀疏索引大小
SEGMENT_OFFSET_INTERVAL//稀疏索引间隔(默认4k)
LOG_TYPE//日志类型
LOG_CLEAN_OPEN//压缩日志服务
LOG_CLEAN_ALGORITHM//压缩hash算法
......

Leader选举

下图中节点在不同角色流转的核心条件，其中Leader的详细条件包括：

  • Follower时未收到其他Leader的条目同步
  • Candidate发起投票后得到集群节点半数以上的投票
  • 未收到Term大于自己的同步条目
  • 持有最新日志条目

在这里插入图片描述

优化计划

日志提交任务

此优化在独立日志水位后，异步执行同步任务，可预期的结果能够提升并发。

在这里插入图片描述

时间轮延迟任务

相比于JDK-ScheduledThreadPoolExecutor的时间复杂度为O(nlogn)，采用此方法时间复杂度能够达到O(1)。
在这里插入图片描述

源码地址

https://gitee.com/weKie/easy-raft.git

不学会Ⅳ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Raft共识算法
纸上得来终觉浅，绝知此事要躬行
05-26 934
目录 什么是Raft？ 等等-什么是共识？ Raft可视化 刊物 会谈 Raft课程 我在哪里可以问问题？ 我在哪里可以买到筏子？ 官网地址：https://raft.github.io/ 什么是Raft？ Raft是一种共识算法，旨在使其易于理解。在容错性和性能上与Paxos等效。不同之处在于它被分解为相对独立的子问题，并且干净地解决了实际系统所需的所有主要部分。我们希望Raft能够使更多的受众获得共识，并且这个更广泛的受众将能够开发出比当今更高质量的基于共识的系统。 等等-什
Java基础（6）- Java代码笔记3
weixin_47062560的博客
08-30 2913
数据类型[][] 数组名 = new 数据类型[m][n]数据类型 数组名[][] = new 数据类型[m][n]数据类型[] 数组名[] = new 数据类型[m][n]m：代表二维数组长度n：代表二维数组中每个一维数组的长度。
浅析synchronized锁升级的原理与实现 1
水w的博客
09-01 1139
浅析synchronized锁升级的原理与实现
操作系统原子操作
zzt_is_me的博客
08-28 8398
所谓的原子操作就是不可被拆分的操作，对于多线程对全局变量进行操作时，就再也不用再线程锁了，和pthread_mutex_t保护作用是一样的，也是线程安全的，有些编译器在使用时需要加-march=i686编译参数。2、type只能是整数相关的类型，浮点型和自定义类型无法使用。功能：把value赋值给*ptr,并返回*ptr的旧值。功能：以上操作返回的是*ptr与value计算后的值。使用原子操作实现一个线程安全的无锁队列。1、该功能并不通用，有些编译器不支持。功能：以上操作返回的是*ptr的旧值。
MapStruct-Java实体转换利器
m0_63622279的博客
09-02 374
MapStruct 是一个用于生成映射器接口的代码生成库，主要用于简化 Java 对象之间的转换过程。在处理不同模型之间数据转换时，MapStruct 可以自动生成实现类减少手工转换逻辑的工作量。使用场景：各种模型之间的转换。BODTOVOPOJO引入mapstruct的pom依赖定义mapper接口（注意，这里不是MyBatis的Mapper哦），使用@Mapper注解标记，并在接口中声明映射方法。编写映射方法，（从xxxO转换为yyyO,模型之间的转换）在业务层中使用Mapper。
Java设计模式之建造者模式详细讲解和案例示范
weixin_39996520的博客
08-28 5611
建造者模式是一种创建型设计模式，允许用户通过一步步地构造复杂对象的方式来避免直接使用大量的构造函数或复杂的初始化过程。它通过将对象的创建过程分解为多个步骤，并允许这些步骤以链式调用的方式来执行，最终生成一个完全构建的对象。首先，我们定义一个Order类，该类包括了多个字段，如订单ID、客户信息、商品列表、配送地址等。// Getter方法省略...在这个例子中，类提供了构建Order对象所需的各个方法，每个方法返回实例，以便进行链式调用。
JavaWeb（基于SpringBoot开发）全总结（1）
2302_81420820的博客
09-02 821
再到spring boot中去设置，当我们遇到报错不要紧，我们直接再复制我们在DG上面写的sql语句，到idea那个数据库那里再运行一次，2.由于使用不同开发工具开发出来的略有不同，导致不能够互通，所以国际规定，使用maven创建的项目为统一标准结构，也就是下图所示的结构。还有我们写的案例里面的mapper层写的sql语句的新增，删除，等等操作，都是基于mybatis来实现的。例如：传入的是路径参数，json格式的参数等等，根据不同的参数我们使用不同的注解。
Spring WebFlux – CVE-2023-34034 – 撰写和概念验证
技术超强的网络安全平台
08-28 5581
Spring框架是一个广泛使用的基于Java的应用程序框架，为企业级Java应用的开发提供基础设施支持。是一个功能强大的身份验证和访问控制框架，也是保护基于 Spring 的应用程序的行业标准。它提供身份验证和授权，并且可以轻松扩展以满足自定义要求。Spring WebFlux是在 Spring 5 中引入的，作为传统框架的响应式编程替代方案。Spring WebFlux 的核心设计旨在处理异步、非阻塞和反应式编程范例。它提供了一种反应式编程模型，允许开发人员构建可扩展、响应迅速且具有弹性的应用程序。
java后端开发-Mybatis连接数据库步骤
最新发布
weixin_73355603的博客
09-02 1457
🎙座右铭：得之坦然，失之淡然。💎擅长领域：前端是的，我需要您的：是我持续下去的动力！先看看目录，是不是IDEA的配置，数据库mysql或者其他的数据库这套方法都适合的。
C++的内存模型
qhu1600417010的博客
08-28 1166
C++ 的内存模型包含了程序运行时如何分配、访问、管理内存的规则，涵盖了多线程环境下的数据一致性、内存对齐、以及虚拟内存管理等内容。掌握这些概念对于编写高效、安全的 C++ 程序至关重要。
输入三个正整数，找出不大不小的值
laocooon的博客
08-30 1548
/ 找出最大值，找出最小值，然后不是最大值也不是最小值的。// 2、输入三个正整数，找出不大不小的值。
优秀的开源项目
猪猪
08-28 600
目录热key多线程并行秒级百G级日志工具ES操作工具消息推送平台HTTP 客户端业务层的分布式限流组件企业级微服务解决方案hotkey: 京东App后台中间件，毫秒级探测热点数据，毫秒级推送至服务器集群内存，大幅降低热key对数据层查询压力asyncTool: 解决任意的多线程并行、串行、阻塞、依赖、回调的并行框架，可以任意组合各线程的执行顺序，带全链路执行结果回调。多线程编排一站式解决方案。来自于京东主App后台。asyncTool: 解决任意的多线程并行、串行、阻塞、依赖、回调的并行框架，可以任意组合各
SpringBoot日常：扩展接口之CommandLineRunner和ApplicationRunner
qq_32590535的博客
08-28 534
日常开发中我们可能经常会遇到这样的场景，像启动容器完成后需要去执行一些业务逻辑，SpringBoot给我们提供了两个接口来帮助我们实现这种需求，两个启动加载接口分别是CommandLineRunner和ApplicationRunner。本文简单介绍如何使用该扩展点实现业务。
Java并发编程 进程与线程
m0_56369671的博客
08-28 1335
操作系统中有一个组件叫做任务调度器，将 cpu 的时间片（windows下时间片最小约为 15 毫秒）分给不同的程序使用，只是由于 cpu 在线程间（时间片很短）的切换非常快，人类感觉是 同时运行的。但如果是四核 cpu，各个核心分别使用线程 1 执行计算 1，线程 2 执行计算 2，线程 3 执行计算 3，那么 3 个线程是并行的，花费时间只取决于最长的那个线程运行的时间，即 11ms 最后加上汇总时间只会花费 12ms 注：需要在多核 cpu 才能提高效率，单核仍然时是轮流执行。
SpringBoot SSM vue在线作业考试系统
yinjl123456的博客
08-30 1116
使用技术: SpringBoot或SSM + Mybaits + Mysql + vue(前端)后台管理 登录注册 个人中心 教师信息管理 学生信息管理 学院信息管理 专业信息管理。班级信息管理 作业信息管理 作业提交管理 通知公告管理 试卷管理 试题管理。系统管理 管理员管理 考试管理。
Java 虚方法表（虚函数）
一心向阳，光芒万丈
08-31 638
虚方法表是一个类的内部数据结构，用于支持方法的动态绑定（即运行时多态）。每个类在加载时会生成一个虚方法表，其中包含了类中所有虚方法的地址。方法地址的存储：虚方法表存储了类的所有方法（包括继承自父类的方法）的内存地址或指针。这些方法在虚方法表中的顺序与它们在类中声明的顺序一致。动态绑定：当方法调用发生时，JVM 会根据对象的实际类型（而不是声明类型）来查找并调用正确的方法实现。这种机制允许程序在运行时决定调用哪个方法，从而实现多态。被privatestaticfinal。
功能强大的开源数据中台系统 DataCap 2024.03.9 发布
qianmoQ - 关注云计算,关注大数据
08-28 532
DataCap 发布！https://datacap.devlive.org/download.html
java 基于Swing的随机点名
tonysong111073的专栏
09-02 158
使用java的swing开发的随机点名
Java学习高级六
weixin_45730243的博客
09-02 146
【代码】Java学习高级六。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值