Hadoop 公平调度器算法调度解析

下面正式介绍公平调度器的层次调度算法，大的思想与Capacity Scheduler类似，首先选择一个pool，然后从该pool中选择一个job，最后从该job中选择一个locality的task。

 

 

 

其中，选择pool和job的策略相同，均采用了FairShareComparator比较器对pool或者job进行排序，然后从头到尾扫描队列，选出合适的pool或者job。

选择pool时的方法：When we sort pools to choose which ones to schedule next, we place pools below their min share ahead of pools above their min share. We order the pools below their min share by how far they are below it as a percentage of the share.（通过低于最小共享额的百分比排序）

选择Job时的方法：The comparator orders jobs by distance below min share and then by runningTasks/weight.

Deficit对作业用赤字(作业在理想调度器上所应得的计算时间与实际所获得的计算时间的差额)进行排序，依次测试，直到满足条件的Task被选出为止。

转载于:https://www.cnblogs.com/wenchchgz/archive/2012/11/07/2758621.html