yarn fair scheduler 之公平份额算法和抢占模型

公平份额算法

这个算法是保证资源抢占的公平。计算公平份额的过程是站在整个集群资源使用的角度，假设每个队列获得一部分资源，使得资源使用量总和逼近集群分配总资源，这时有一个资源权值比，每个队列的公平份额=资源权值比 * 权值。

公平份额算法是先计算出一个资源权值比的最大值，使得资源使用量总和正好超过集群分配总资源，然后利用二分查找法在0到这个最大资源权值比之间确定一个资源权值比，使得资源使用量总和逼近集群分配总资源。资源权值比为double类型。

代码分析：

<script src="https://code.csdn.net/snippets/398914.js" type="text/javascript"></script>

抢占模型

确定了各自的公平份额后，更新各自的资源需求。

然后检查是否有需要抢占其他队列资源的队列，判断依据有两个：

资源使用量 < min(最小份额，资源需求量) || 资源使用量 < min(公平份额，资源需求量)

条件满足时求两个差值的最大值作为需要抢占的资源量，累加起来得到集群需要抢占的资源总量，即需要释放的资源。

只要需要抢占的资源总量大于0，就选出所有资源使用量超过公平份额的队列，再把这些队列里的正在运行的Container按照优先级从大到小和启动时间从大到小排序（优先级值越小，等级越高），最后对这些Container依次发出警告，并在超时后强制kill释放资源。这个过程每500毫秒进行一次。

资源回到集群中，就在nodeUpdate中分配到具体的队列及应用。

基于hadoop-2.3.0-cdh5.0.0