Spark内核源码深度剖析：Master注册机制原理剖析与源码分析

最新推荐文章于 2018-12-14 22:52:00 发布

VectorYang

最新推荐文章于 2018-12-14 22:52:00 发布

阅读量793

点赞数 1

分类专栏： spark 文章标签： spark 源码

本文链接：https://blog.csdn.net/VectorYang/article/details/75205710

版权

spark 专栏收录该内容

19 篇文章 0 订阅

订阅专栏

1.Master注册机制原理剖析（图解）

这里写图片描述

2.部分源码分析

master.scala中的Application注册原理代码分析：

  case RegisterApplication(description) => {
  //如果master的状态是standby，就是当前的这个master，是standby master，
  //而不是Active Master，那么，当Application来请求注册时，会忽略请求。
  if (state == RecoveryState.STANDBY) {
    // ignore, don't send response
  } else {
    logInfo("Registering app " + description.name)
   //用ApplicationDescription信息，创建ApplicationInfo
    val app = createApplication(description, sender)
    //注册Application
   //将Application加入缓存中，并将Application加入等待调度的队列中-waitingApps
    registerApplication(app)
    logInfo("Registered app " + description.name + " with ID " + app.id)
    //使用持久化引擎，将Application进行持久化
    persistenceEngine.addApplication(app)
    //反向，向SparkDeploySchedulerBackend的APPClient的ClientActor，发送消息，也就是RegisterApplication
    sender ! RegisteredApplication(app.id, masterUrl)
    schedule()
  }