Yarn任务优先级

容量调度器，支持任务优先级的配置，在资源紧张时，优先级高的任务将优先获取资源。默认情况，Yarn将所有任务的优先级限制为0，若想使用任务的优先级功能，须开放该限制。

修改yarn-site.xml文件，增加以下参数

<property>
    <name>yarn.cluster.max-application-priority</name>
    <value>5</value>
</property>

分发配置，并重启Yarn

xsync yarn-site.xml

sbin/stop-yarn.sh

sbin/start-yarn.sh

模拟资源紧张环境，可连续提交以下任务，直到新提交的任务申请不到资源为止。

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 5 2000000

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 5 2000000

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi -D mapreduce.job.priority=5 5 2000000

 

 

 

 也可以通过以下命令修改正在执行的任务的优先级

yarn application -appID <ApplicationID> -updatePriority 优先级

yarn application -appID application_1611133087930_0009 -updatePriority 5