yarn capacity调度器小结

capacity调度器的作用是尽可能的利用集群的所有机器资源，在资源高利用率的同时兼顾公平性.
1.yarn capacity的优先级由队列实现，这是一个类似树状结构的层级队列，最顶层的队列是树的root，叶子队列是应用程序提交到的队列，我们假设一个公司有两个部门A和部门B，部门A下有两个工作室：A1和A2，部门B下有两个工作室B1和B2.

假设我们现在对于部门A有如下配置：
yarn.scheduler.capacity.root.A.capacity = 20
yarn.scheduler.capacity.root.A.maxinum-capacity=40
这样的配置表示A队列正常可以使用20%的父队列(这里是root)的资源，即使在集群空闲的情况下，A队列能使用的最大资源也不能超过父队列(这里是root)资源的40%。

同理假设叶子节点A1有如下配置：
yarn.scheduler.capacity.root.A.A1.capacity = 30
yarn.scheduler.capacity.root.A.A1.maxinum-capacity=60
这样的配置表示A1队列正常可以使用30%的父队列(这里是A)的资源，即使在集群空闲的情况下，A1队列能使用的最大资源也不能超过父队列(这里是A)资源的60%

2.多用户提交应用程序到叶子队列，比如A1队列时如何保证公平？假设用户张三，李四，王五分别提交应用程序到A1队列，假设有如下配置：
yarn.scheduler.capacity.root.A.A1.mininum-user-limit-percent = 50
这个配置表示每个用户最少能占用的资源，资源如何分配的例子如下：
a.此时张三提交了一个应用程序到队列A1，此时张三的应用程序可以独占整个A1队列的全部资源
b.李四随后也提交了一个应用程序到队列A1,此时张三和李四的应用程序可以分配占据50%的A1队列的资源
c.王五随后也提交一个应用程序到队列A1，此时不再是张三李四王五每个人分配33.3%的A1队列资源，而是收到每个用户最少能占用的资源限制，由于张三和李四已经各占用了50%的A1队列资源，此时王五提交的应用程序只能在队列中等待，和正常的FIFO是有差别的，通过这种方式，他能保证先提交的应用程序比后提交的应用程序有更高的优先级，这样比如张三即使连续提交应用程序到A1队列时，这些后面提交的应用程序也需要等待前面王五的应用程序得到资源运行之后才能得到运行机会。