spark源码学习(十一)：资源的调度Schedule

                              spark源码学习(十一)：资源的调度Schedule

   在前面stabdalone模式下当worker向master注册成功之后，master会运行一个schedule函数来调度资源，当时并没有进行深入的剖析，这里就简单的来看看schedule的资源调度函数，说白了就是master是如何把每一个executor分配给application去处理任务的呢？下面来看看的具体的代码:

private def startExecutorsOnWorkers(): Unit = {
    //当前的调度模式是FIFO
    if (spreadOutApps) {
      // 把application中需要用到的资源都平均分配到每一个worker上面
      for (app <- waitingApps if app.coresLeft > 0) {
	  //主要就是过滤出全部可以使用的worker
        val usableWorkers = workers.toArray
		                    //处于激活状态的worker
		                    .filter(_.state == WorkerState.ALIVE)
							//worker当前的内存大于等于该app分配到当前worker上任务所需的内存大小
                            .filter(worker => worker.memoryFree >= app.desc.memoryPerExecutorMB 
							//内核数大于等于任务所需的内核数
							&&worker.coresFree >= app.desc.coresPerExecutor.getOrElse(1))
							//空闲内核数倒序排列
							.sortBy(_.coresFree).reverse
	    //用于分配的时候使用
        val numUsable = usableWorkers.length
        val assigned = new Array[Int](numUsable) 
		//取app所需的内核数和可使用的内核数的最小值作为将要分配的资源
        var toAssign = math.min(app.coresLeft, usableWorkers.map(_.coresFree).sum)
        var pos = 0
        while (toAssign > 0)
		{//逐个从各个worker中给App分配一个内核
		 //每当所有的worker都分配之后还有剩余的话，继续分配
          if (usableWorkers(pos).coresFree - assigned(pos) > 0) 
		  {
            toAssign -= 1
            assigned(pos) += 1
          }
          pos = (pos + 1) % numUsable
        }//以上的属于资源的逻辑分配
		//下面的好似资源的物理分配，会显示的拉起executor
        for (pos <- 0 until numUsable if assigned(pos) > 0) 
		{
          allocateWorkerResourceToExecutors(app, assigned(pos), usableWorkers(pos))
        }
      }
    } 

    上面仅仅显示了尽量在每一个worker上都分配相同的任务来运行。具体流程如图所示:

     下面看看物理分配：主要就是调用allocateWorkerResourceToExecutors,首先调用addExecutor方法把worker的信息封装成ExecutorDesc，然后把ExecutorDesc信息添加到app的executors的缓存中，在增加已经授权的内核数，代码如下:

   

      然后通过launchExecutor方法来实现物理分配:

      1)首先把ExecutorDesc添加到WorkInfo的executors缓存中，并更新已经使用的cup和数和内存大小。

       2)然后向worker发送LaunchExecutor信息，运行Executor,具体的看这里

       3)向clientWorker发送ExecutorAdded消息，收到消息后向master发送ExecutorStateChanged消息，master收到消息后向DriverActor发送ExecutorUpdate消息，用于更新driver上有关executor的状态。

        经过三部就完成了对workers上资源的调度，下面就会开始executor的实例化和任务的运行了。