【hadoop二次开发】通过源码NameNode类的mian函数进行启动namenode

003-hadoop二次开发-NameNode启动流程

main函数

一旦调用org.apache.hadoop.hdfs.server.namenode.NameNode,那么在该类下一定有个main函数。
启动NameNode需要提交参数,首先对参数要进行合法校验,

if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {
  System.out.println("####参数校验#####");
  System.exit(0);
  //hadooop namenode -format
  //hadoop -datemon.sh start namenode
  //hadoop-datemon.sh start nn
}

然后启动打印日志,

try {
  //启动打印日志
  StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
  //TODO 创建NameNode核心代码
  NameNode namenode = createNameNode(argv, null);
  if (namenode != null) {
    //就是线程的join
    //会使主线程进入等待池并等待t线程执行完毕后才会被唤醒
    namenode.join();
  }
} catch (Throwable e) {
  LOG.error("Failed to start namenode.", e);
  terminate(1, e);
}

通过createNameNode(argv, null)进入,

if (conf == null)
  conf = new HdfsConfiguration();
StartupOption startOpt = parseArguments(argv);

首先判断配置文件是否为空,如果为空创建一个配置文件,然后去解析传进的配置参数,传进去是一些参数字符串,要解析成枚举等变量,在parseArguments(argv)中进行解析,返回StartupOption 。(ctrl+alt+左箭头返回上一步操作处)

if (startOpt == null) {
  printUsage(System.err);
  return null;
}

如果没有解析StartupOption打印异常,

//将启动参数加入到配置中
setStartupOption(conf, startOpt);
  private static void setStartupOption(Configuration conf, StartupOption opt) {
    conf.set(DFS_NAMENODE_STARTUP_KEY, opt.name());
  }

如果解析出StartupOption,将参数加入配置中,设置初始化参数。
接下来switch模式匹配进行模式判断,

/**
 * 我们在集群中操作 , 比如 :
 * hdfs namenode -format
 * hadoop fs -put XXX /
 * 正常情况下,是先启动namenode
 * hadoop-daemon.sh start namenode
 * */
switch (startOpt) {
  //格式化
  case FORMAT: {//hadoop namenode -format
    boolean aborted = format(conf, startOpt.getForceFormat(),
            startOpt.getInteractiveFormat());
    terminate(aborted ? 1 : 0);
    return null; // avoid javac warning
  }
  // 产生集群ID.
  case GENCLUSTERID: {
    System.err.println("Generating new cluster id:");
    System.out.println(NNStorage.newClusterID());
    terminate(0);
    return null;
  }
  //定版本
  case FINALIZE: {
    System.err.println("Use of the argument '" + StartupOption.FINALIZE +
            "' is no longer supported. To finalize an upgrade, start the NN " +
            " and then run `hdfs dfsadmin -finalizeUpgrade'");
    terminate(1);
    return null; // avoid javac warning
  }
  //回滚
  case ROLLBACK: {
    boolean aborted = doRollback(conf, true);
    terminate(aborted ? 1 : 0);
    return null; // avoid warning
  }
  //同步active节点的快照(配置完HA需要运行这个命令同步active节点的快照(配置完HA需要运行这个命令
  case BOOTSTRAPSTANDBY: {
    String toolArgs[] = Arrays.copyOfRange(argv, 1, argv.length);
    int rc = BootstrapStandby.run(toolArgs, conf);
    terminate(rc);
    return null; // avoid warning
  }
  //向备用节点共享一组edits日志
  case INITIALIZESHAREDEDITS: {
    boolean aborted = initializeSharedEdits(conf,
            startOpt.getForceFormat(),
            startOpt.getInteractiveFormat());
    terminate(aborted ? 1 : 0);
    return null; // avoid warning
  }
  //启动冷备或者温备名字节点
  case BACKUP:
  case CHECKPOINT: {
    NamenodeRole role = startOpt.toNodeRole();
    DefaultMetricsSystem.initialize(role.toString().replace(" ", ""));
    return new BackupNode(conf, role);
  }
  //恢复损坏的元数据以及文件系统
  case RECOVER: {
    NameNode.doRecovery(startOpt, conf);
    return null;
  }
  //检查配置的正确性
  case METADATAVERSION: {
    printMetadataVersion(conf);
    terminate(0);
    return null; // avoid javac warning
  }
  //以升级的方式启动
  case UPGRADEONLY: {
    DefaultMetricsSystem.initialize("NameNode");
    new NameNode(conf);
    terminate(0);
    return null;
  }
  //正常启动NameNode
  default: {
    //初始化metric系统(所有大数据框都依赖于metric)
    //通过metric监控启动时长,某个任务消耗时间等
    DefaultMetricsSystem.initialize("NameNode");
    //TODO
    return new NameNode(conf);
  }
}

通过new NameNode(conf)走到

  public NameNode(Configuration conf) throws IOException {
    this(conf, NamenodeRole.NAMENODE);
  }

通过this走到namenode核心领域,

  /**
   * 1、对namenode做参数的注册(fs.defaultFS、rpc地址等)
   * 2、初始化
   * 3、根据初始化处理的结果,namenode进入对应的状态(active、backup、standby)
   * */
  protected NameNode(Configuration conf, NamenodeRole role) 
      throws IOException { 
    this.conf = conf;
    this.role = role;//保存NameNode的角色信息
    //设置clients访问nomenode或nameservice的访问地址  配置项fs.defaultFS:hadoop01:9000
    setClientNamenodeAddress(conf);
    String nsId = getNameServiceId(conf);
    String namenodeId = HAUtil.getNameNodeId(conf, nsId);
    //ha相关
    this.haEnabled = HAUtil.isHAEnabled(conf, nsId);
    //根据用户设置的启动参数,确定启动以后的初始状态,如果是正常启动,则全部直接进入Standby状态
    state = createHAState(getStartupOption(conf));
    this.allowStaleStandbyReads = HAUtil.shouldAllowStandbyReads(conf);
    //TODO 在创建HA的时候,也启动了standByNameNode的服务
    this.haContext = createHAContext();



    try {
      //给联邦模式下准备的,主要是设置联邦模式下namenode的地址和RPC地址
      initializeGenericKeys(conf, nsId, namenodeId);
      //TODO
      initialize(conf);
      // HA相关
      try {
        haContext.writeLock();
        state.prepareToEnterState(haContext);
        state.enterState(haContext);
      } finally {
        haContext.writeUnlock();
      }
    } catch (IOException e) {
      this.stop();
      throw e;
    } catch (HadoopIllegalArgumentException e) {
      this.stop();
      throw e;
    }
    this.started.set(true);
  }
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值