HDFS Rolling Upgrade的实现要点分析

最新推荐文章于 2023-09-01 16:05:15 发布

Android路上的人

最新推荐文章于 2023-09-01 16:05:15 发布

阅读量1.4k

点赞数 1

分类专栏： HDFS Hadoop 文章标签： HDFS升级

本文链接：https://blog.csdn.net/Androidlushangderen/article/details/107002112

版权

本文分析了HDFS Rolling Upgrade的实现要点，包括NameNode和DataNode的调整。NameNode中，元数据处理、Layout拆分和Rolling Upgrade命令支持得以优化；DataNode则通过快速启动和OOB信息减少升级影响，并延迟删除处理。详细内容可参考HDFS-5535 JIRA。

摘要由CSDN通过智能技术生成

前言

我们知道HDFS Rolling Upgrade功能在几年前比较早的时间早已实现，但是我们往往只注意怎么去做HDFS Rolling Upgrade这个事情本身，但是对于HDFS如何实现Rolling Upgrade这个功能可能了解的会比较少。本文笔者来聊聊其中部分要点的设计实现，为了做到Rolling Upgrade的快速和安全性，社区在这块实现上还是花了一些功夫的。本文主要基于HDFS Rolling Upgrade社区JIRA HDFS-5535：Umbrella jira for improved HDFS rolling upgrades来展开内容进行阐述。

HDFS NameNode端针对Rolling Upgrade的调整

HDFS针对Rolling Upgrade的实现，在NameNode和DataNode两边都进行了相关的调整实现。首先我们来看NameNode做了哪些模块的调整。

第一个，NameNode在pre-upgrade, upgrade in-progress, finalized, downgrade/rollback这些期间
元数据文件的一个状态处理，包括FsImage文件以及editlog文件。当我们执行Rolling Upgrade的rollback操作时，NN是可以支持撤销rolling upgrade时的那个transaction后发生的所有transaction。简单来说，它会忽略掉升级过程中执行过的那些事务transaction。

第二点，Layout的拆分，原有Layout一拆为二，分别有NameNode和DataNode各自对应的NamenodeLayoutVersion和DatanodeLayoutVersion。Layout内会分别记有NameNode，DataNode这边的当前版本所支持的各种feature或者标明目录结构版本的信息，相关JIRA HDFS-5754(Split LayoutVerion into NamenodeLayoutVersion and DatanodeLayoutVersion)

例如以下是NameNode NamenodeLayoutVersion和DataNode DatanodeLayoutVersion的内部信息：

public class NameNodeLayoutVersion {
    
  ...

  public enum Feature implements LayoutFeature {
   
    ROLLING_UPGRADE(-55, -53, -55, "Support rolling upgrade", false)