Yarn的资源管理

调度器

FIFO Scheduler

Capacity Scheduler

• 容量调度器不会强制释放container，当一个队列资源不够时，只能等待其他队列释放container。当然我们可以为队列设置一个最大资源使用量，以免这个队列过多地占用空闲资源，导致其他队列无法使用这些空闲资源。
• 队列的选择基于优先级DFS，优先级可以是队列的资源使用率(已使用的资源量/队列的资源容量)（所有的队列都是ROOT队列的子队列，所以从ROOT开始搜索）

Fair Scheduler

• 假设有两个用户A和B，他们分别拥有一个队列。当A启动一个任务而B没有任务时，A会获得全部集群资源；当B启动一个任务后，A的j任务会继续运行，不过一会之后两个任务会各自获得50%的集群资源【为所有应用公平分配资源】。如果此时B再启动第二个任务并且其它任务还在运行，则它将会和B的第一个任务共享B这个队列的资源，也就是B的两个任务会用于25%的集群资源，而A的任务仍然用于集群50%的资源。【为所有队列公平分配资源】（可为队列配置权重属性，即为对公平的定义，若未设置权重，则平均分配）
• 支持在每个队列内部按FIFO / Fair / DRF 策略为应用程序分配资源
• 支持资源抢占：先等待，如果等待一段时间后尚有未归还的资源，则会从超额使用资源的队列中杀掉超额的container（抢占会降低集群整体的执行效率，因为被终止的container需要被重新执行）