Alluxio的Raft HA实现

前言

---

Alluxio在HA的实现上，早期实现的方式是基于ZK(用来做领导选举)+shared journal storage(状态同步)的方式来达到其服务高可用性的，这种方式和HDFS的HA实现十分类似。不过后来Alluxio社区实现了基于Raft协议的新的HA实现方式，这里的Raft实现依赖了开源Raft Java实现库Apache Ratis。作为全新的HA实现，本文笔者结合Alluxio相关代码来简单聊聊里面的一些实现细节。

基于Raft实现的要点

---

Raft一致性协议算法目前逐渐被越来越多的大型系统所使用，比如对象存储系统Apache Ozone。Ozone内部的数据一致性控制依赖的实现也是Apache Ratis。

对于同样要依赖Apache Ratis做Raft HA实现的Alluxio系统来说，它需要特别关注哪几个要点的实现呢？这里笔者结合之前对于Ozone以及Apache Ratis的了解，列出以下几点：

• StateMachine，状态机的定义，不同的系统它所谓的状态机的概念是不同的。比如以存储系统而言，大部分情况可理解为为master元数据的控制更新
• Leader/Follower节点的选举，重新选举时的回调执行操作

以上两点是笔者认为做Raft实现需要尤其考虑实现的点，其它的部分我们再结合实际的系统实现做对应逻辑的适配修改。比如本文今天所讲述的这样的一个系统就是Alluxio。

Alluxio Raft HA实现的相关角色类

---

下面我们结合Alluxio的代码做Alluxio Raft HA实现的介绍。

首先一个主要的中心控制类RaftJournalSystem，此类里包括了状态机，raft journal writer等等与Raft journal HA实现的相关角色类。

RaftPrimarySelector， Primary选举监听类，当有新的leader选举时，此类会监听回调对应的执行执行。

RaftJournalWriter，Raft Journal信息的写出类。此类会调用Raft Client向其它master server组进行journal信息的写出。

JournalStateMachine，状态机的定义实现类，此类负责master状态的更新以及snapshot的定期take操作。

BufferedJournalApplier，负责apply journal信息到master的类。此类内部额外维护了一个suspend buffer队列，用类临时存放暂停时间段待apply的raft journal信息。

SnapshotReplicationManager，snapshot管理类，在Raft server中，Follower会进行snapshot的take并upload snapshot到Leader的Raft Server里。

Alluxio Raft HA部分场景分析

---

Leader重新选举监听处理

---

当发生了新的Leader选举时，Alluxio的master目前是怎么样的一个action操作？

首先我们来看与此相关的角色类，RaftPrimarySelector，代码如下：

/**
 * A primary selector backed by a Raft consensus cluster.
 */
@ThreadSafe
public class RaftPrimarySelector extends AbstractPrimarySelector {
   

  /**
   * Notifies leadership state changed.
   * @param state the leadership state
   */
  public void notifyStateChanged(State state) {
   
    setState(state);
  }

  @Override
  public void start(InetSocketAddress address) throws IOException {
   
    // The Ratis cluster is owned by the outer {@link RaftJournalSystem}.
  }

  @Override
  public void stop() throws IOException {
   
    // The Ratis cluster is owned by the outer {@link RaftJournalSystem}.
  }
}

此类基本继承父类的实现，只是对外方法里额外重置了一个状态。我们在基于ZK做Leader选举的时候，ZK是有提供对应接口监听得到新的Leader信息的。同理基于Raft实现的Apache Ratis同样有这么一个接口方法。

在JournalStateMachine的notifyLeaderChanged方法里，能监听到这个动作，随之会调用到RaftPrimarySelector#notifyStateChanged方法的执行，相关代码如下：

  @Override
  public void notifyLeaderChanged(RaftGroupMemberId groupMemberId, RaftPeerId raftPeerId) {
   
    if (mRaftGroupId == groupMemberId.getGroupId()) {
   
      mIsLeader = groupMemberId.getPeerId() == raftPeerId