【HDFS】FsDatasetSpi#adjustCrcChannelPosition

叹了口丶气

于 2023-12-15 15:50:12 发布

阅读量147

点赞数

分类专栏： HDFS全方位实战文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/yexiguafu/article/details/135019154

版权

HDFS全方位实战专栏收录该内容

176 篇文章 151 订阅 ¥29.90 ¥99.00

订阅专栏

FsDatasetSpi接口中的adjustCrcChannelPosition方法用于在HDFS的append和block recovery场景中调整checksum文件的指针，以便覆盖最后一个checksum。该方法通过 outs 输出流设置meta文件的offset，减去checksumSize来确定新的position，并更新FileChannel的位置，从而实现checksum的覆写。FsDatasetImpl类对此进行了具体实现。

摘要由CSDN通过智能技术生成

FsDatasetSpi接口里定义adjustCrcChannelPosition方法。
应用场景在：append，block recovery等场景。

方法的作用是设置checksum 流（datanode上meta文件）的文件指针，来让最后一个checksum被覆写。

  /**
   * Sets the file pointer of the checksum stream so that the last checksum
   * will be overwritten
   * @param b block
   * @param outs The streams for the data file and checksum file
   * @param checksumSize number of bytes each checksum has
   * @throws IOException
   */
  void adjustCrcChannelPosition(ExtendedBlock b,