Ozone数据读取过程分析

前言

---

上篇文章Ozone数据写入过程分析，笔者分享了关于Ozone数据写入的过程分析。本文，笔者来分享对应另外一个过程，数据读取过程的分析。总体来说，Ozone数据的读取和写入过程中，有着部分共同点，都涉及到了Block，Chunk，buffer的概念。论复杂度而言，读取过程还是比写入过程要简单，易懂一些。

Ozone数据的读取过程：基于Block，Chunk offset的数据读取

---

如果大家有细读过笔者上篇关于Ozone数据写入过程的文章，应该知道Ozone Key的数据是按照Block进行划分的，而每个Block则进一步按照Chunk单位进行数据写出的。一个Chunk对应一个Chunk文件。Block则是内部虚拟的概念，但是Datanode Container会存Block到其下所属Chunk列表的信息。

在一个Key下，数据按照分段，分为多个Block，每个Block数据的起始位置在全局模式下的偏移量自然是不同的。比如第二个Block的offset值等于上一个Block的长度。Block的下Chunk的数据组织也是同理。

除开数据的读取要依赖Offset外，这里还需要额外分别向其它服务读取Block，Chunk信息，毕竟Client事先并不知道这些信息，主要有如下3个操作：

• Client向OzoneManager发起查询key信息的请求，返回的key信息中包含有其下所有Block的信息
• Block Stream内部会向Datanode查询Container db中的Block数据，Block信息里包含有其所属的Chunk信息
• Chunk Stream向Datanode查询实际chunk数据文件信息，然后加载到自身buffer内供外部读取

综上所述，其上的整体过程图如下所示：

Ozone数据读取相关代码分析

---

下面我们来其中部分关键read相关方法的代码实现分析。

首先是Client向OM服务查询key信息操作，

  public OzoneInputStream readFile(String volumeName, String bucketName,
      String keyName) throws IOException {
   
    OmKeyArgs keyArgs = new OmKeyArgs.Builder()
        .setVolumeName(volumeName)
        .setBucketName(bucketName)
        .setKeyName(keyName)
        .setSortDatanodesInPipeline(topologyAwareReadEnabled)
        .build();
    // 1.client向OM查询给你key的metadata信息，里面包含有key下的block信息
    // 然后client用查询得到的key信息构造输入流对象.
    OmKeyInfo keyInfo = ozoneManagerClient.lookupFile(keyArgs);
    return createInputStream(keyInfo);
  }

然后会执行到后面KeyInputStream的初始化方法，创建多个Block Stream对象，

  private synchronized void initialize(String keyName,
      List<OmKeyLocationInfo> blockInfos,
      XceiverClientManager xceiverClientManager,
      boolean verifyChecksum) {
   
    this.key = keyName;
    this.blockOffsets = new long[blockInfos.size()];
    long keyLength = 0;
    // 2.KeyInputStream根据查询得到的key block信息构造对应BlockOutputStream对象
    for (int i = 0; i < blockInfos.size(); i++) {
   
      OmKeyLocationInfo omKeyLocationInfo = blockInfos.get(i);
      if (LOG.isDebugEnabled()) {
   
        LOG.debug("Adding stream for accessing {}. The stream will be " +
            "initialized later.", omKeyLocationInfo);
      }
      // 3.构造BlockOutputStream并加入到block stream列表中
      addStream(omKeyLocationInfo, xceiverClientManager,
          verifyChecksum);
      // 4.更新当前创建的BlockOutputStream在全局key文件下的偏移量值
      this.blockOffsets[i] = keyLength;
      // 5.更新当前的key len，此值将成为下一个BlockOutputStream的初始偏移量
      keyLength += omKeyLocationInfo.getLength(