spark源码学习（五）- SchedularBackEnd 杂谈

     以spark的standalone部署方式为例，SchedularBackEnd的实现类为StandaloneSchedularBackEnd，其实例化是在TaskSchedular对象创建的时候伴随创建的，SchedularBackEnd在创建的时候，创建了StandAppClient实例，该实例在start的时候，启动了ClientEndPoint消息循环体，该循环体向master注册了该app.同时，SchedularBackEnd的父类CoareGrainSchedularBackEnd中还存在一个内部类，DriverBackEnd消息循环体，就是我们所熟知的driver，该DriverBackEnd会接收executor的消息。

       master在收到ClientEndPoint会创建appID,并根据配置来分配资源信息，Master会发送指令给Worker,Worker在为当前应用程序分配资源的时候，为首先分配ExecutorRunner,ExecutorRunner内部会通过Thread的方式构建ProcessBuilder来启动另外一个jvm进程，该进程会按照ClientEndPoint提供的commond中的入口类的main方法启动CoareExecutorBackEnd本身这个消息循环体，CoareExecutorBackEnd在实例化的时候会像master的driverBackEnd注册，发送资源信息，所以maser的Driver就知道了当前这个executor节点和其资源状况。

      每一个app会在worker上有一个或多个executor对象，是通过schedularbackend指定的commond入口类启动的，如何在一个work上启动多个executor:http://blog.51cto.com/36006798/1872140。

      broadcast都是以execuot进行分发的，处于同一executor中的task都是可以访问的。

     master->worker->executorRunner->execuotbackend->注册（Driver）->executor->execuotbackend接收task消息->使用executor启动task

可以看出，ExecutorBackEnd是作为Executor信令的存在。

CoarseExecutorBackEnd的onstart方法中，向所有的Driver发送的RegisterExecutor类型的请求：

override def onStart() {
    logInfo("Connecting to driver: " + driverUrl)
    rpcEnv.asyncSetupEndpointRefByURI(driverUrl).flatMap { ref =>
      // This is a very fast action so we can use "ThreadUtils.sameThread"
      driver = Some(ref)
      ref.ask[Boolean](RegisterExecutor(executorId, self, hostname, cores, extractLogUrls))
    }(ThreadUtils.sameThread).onComplete {
      // This is a very fast action so we can use "ThreadUtils.sameThread"
      case Success(msg) =>
        // Always receive `true`. Just ignore it
      case Failure(e) =>
        exitExecutor(1, s"Cannot register with driver: $driverUrl", e, notifyDriver = false)
    }(ThreadUtils.sameThread)
  }

       但是其中的success,并没有处理，因为Driver拥有backEnd的引用，直接发送registedExecutor请求过来，并直接实例化一个Executor对象，如下：

override def receive: PartialFunction[Any, Unit] = {

    // 注册 请求
    case RegisteredExecutor =>
      logInfo("Successfully registered with driver")
      try {
        executor = new Executor(executorId, hostname, env, userClassPath, isLocal = false)
      } catch {
        case NonFatal(e) =>
          exitExecutor(1, "Unable to create executor due to " + e.getMessage, e)
      }