HDFS Ozone的Pipeline实现机制

前言

---

在现有HDFS中，每个副本块默认有3个副本，我们都知道这是为了容错而设计的。为了保持这3个副本的数据一致性，HDFS每次对数据进行写操作的时候，都是以Pipeline的方式进行更新。你可以理解为是一种流水线的方式：R1–>R2–>R3。中间如有一个环节出现问题，那么这次Pipeline更新就得重新来过。在HDFS对象存储服务Ozone中，同样会遇到多副本更新一致性的问题，所以它也需要有自己的Pipeline更新机制。此文，笔者就带领大家学习了解Ozone在这方面的实现。

Ozone的Pipeline概念

---

Pipeline概念是一个比较抽象的概念，你可以理解它是一个流水线模型。里面包含若干个“数据位置”信息。在HDFS中，这个Pipeline更新对象是block块，而在Ozone是，针对的数据单元是container。然后Ozone中的container再分配block块出去的。

在多数据副本的情况下，定义Pipeline的概念有什么用呢？答案是为了更新的数据一致性。前面也已经提过，Pipeline里面会包含目标位置信息，这个信息就是我们想要拿到的。知道这些信息，具体怎么更新，是另一回事，你可以自己实现一个更新策略，或者用外部开源框架实现。

下面是Ozone中的Pipeline类定义：

/**
 * A pipeline represents the group of machines over which a container lives.
 */
public class Pipeline {
   
  // 容器名称
  private String containerName;
  // 领导者id（外部副本更新机制框架可能会使用到）
  private String leaderID;
  // 数据副本所在节点
  private Map<String, DatanodeID> datanodes;

  // pipeline内部允许包含的私有数据
  private byte[] data;
  ...
}

Ozone的Pipeline管理

---

下面我们来看Pipeline管理，Pipeline是用在做副本更新的，所以这里需要与Ozone现有的副本实现机制挂钩。目前Ozone可提供2种副本机制：

• 1.完全单副本方式，就是standalone模式。
• 2.用外部框架Apache Ratis（分布式一致性算法Raft的Java实现）实现多副本方式。

对应上面2种方式，衍生出2种Pipeline的管理类。下面是Pipeline的基类定义：

/**
 * Piepline管理接口
 */
public interface PipelineManager {
   

  /**
   * Pipeline获取方法
   *
   * @param containerName container名称
   * @param replicationFactor - 副本数
   * @return a Pipeline.
   */
  Pipeline getPipeline(String containerName,
      OzoneProtos.ReplicationFactor replicationFactor) throws IOException;

  /**
   * 创建Pip