
1.概述
转载:YARN—— 队列内的优先级调度
在 hadoop 官方文档中,描述了容量调度支持按任务的优先级来调度。
具体来说就是:客户端向 yarn 提交任务时,可以指定任务的优先级。任务的优先级是一个正整数,值越大意味着任务的优先级越高;在容量调度的队列中,对任务按优先级进行排序,优先级越高的任务,会优先进行资源的分配。
不同类型的任务在提交时,通过不同参数指定优先级,但基本上大同小异,例如:
MapReduce
|
"-Dmapreduce.job.priority=xx"
|
Flink
|
"-yD yarn.applicaiton.priority=xx"
|
Spa |