Spark源码解读(2)——Worker启动过程

最新推荐文章于 2024-03-06 20:29:20 发布

scalahome

最新推荐文章于 2024-03-06 20:29:20 发布

阅读量710

点赞数 1

分类专栏： spark 文章标签： spark 大数据源码

本文链接：https://blog.csdn.net/scalahome/article/details/51970866

版权

spark 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

本文将讨论Spark以Standalone模式部署情况下，Worker的启动过程。

上文已经对Master的启动过程进行了较为详细的分析，Worker的启动过程大部分的代码都是和Master复用的，对于这部分不再赘述。因此对Worker启动过程的分析从onStart()方法开始

  override def onStart() {
    assert(!registered)
    logInfo("Starting Spark worker %s:%d with %d cores, %s RAM".format(
      host, port, cores, Utils.megabytesToString(memory)))
    logInfo(s"Running Spark version ${org.apache.spark.SPARK_VERSION}")
    logInfo("Spark home: " + sparkHome)
    createWorkDir()
    shuffleService.startIfEnabled()
    webUi = new WorkerWebUI(this, workDir, webUiPort)
    webUi.bind()
    registerWithMaster()

    metricsSystem.registerSource(workerSource)
    metricsSystem.start()
    // Attach the worker metrics servlet handler to the web ui after the metrics system is started.
    metricsSystem.getServletHandlers.foreach(webUi.attachHandler)
  }

这里可以看到Worker启动之后会想Master注册，registerWithMaster()，这部分逻辑相对简单，不再展开叙述

Worker会定时重试向Master注册，知道注册成功或者达到最大重试次数之后才会停止注册

需要注意的是registerWithMaster()方法在两种情况下会被调用：Worker启动，Master没有保存Worker的注册信息但是收到了Worker的心跳（有可能是由Worker心跳超时引起）

上面是对Worker启动过程的简单分析，如有错误欢迎各位同学拍砖。欢迎交流学习，QQ:1037727037