Master资源调度算法原理剖析与源码分析

在Master类中的schedule方法是master的主要的资源调度的方法

首先是对driver进行调度

上面中的提交模式在基于YARN的两种提交模式中有介绍

进入 Random.shuffle()方法，主要的功能是随机打乱集合内的元素

进入到launchDriver(worker, driver)方法

接下来是对Application进行调度

Application的调度算法有两种，这两种算法是可以手动切换的，默认是启用spreadOutApps，一种是spreadOutApps

进入canUse(app, _)方法

进入addExecutor(usableWorkers(pos), assigned(pos))方法

在application内部缓存结构中添加executor，并且创建ExecutorDesc对象，其中封装了，给executor分配多少个cpu core，在sprik1.3版本中通过spark-submit可以指定executor和cpu的数量以及内存数量，基于这种按中的cpu来分配的机制，最后executor的实际数量，以及每个executor的cpu可能与配置是不一样的，比如要求3个executor，每个要3个cpu，比如有9个worker，每个有一个cpu，那么其实总共要分配9个core，根据这种算法，会给每个worker分配一个core，然后每个worker启动一个executor最后会启动9个executor，每个executor有1个cpu core

进入launchExecutor(usableWorkers(pos), exec)方法

通过这种算法其实会将每个application，要启动的executor，都平均分布到各个worker上去，比如有20个cpucore要分配，那么实际会循环两遍worker，每次循环，给每个worker分配1个core，最后每个worker分配2个core

 

另一种是非spreadOutApps

这种算法与上一种算法正好相反，每个application都尽量可能分配到尽量少的worker上去，比如总共有10个worker，每个有10个core，app总共要分配20个core，其实只会分配到两个worker上去，每个worker都占满10个core，其余的app都只能分配到下个worker。

例如application，spark-submit里，配置的是要10个executor，每个要2个core，那么总共是20个core在这种算法下其实只会启动两个executor，每个有10个core