软件版本:
- VMware:VMware-15.5.1
- Linux:CentOS-7.5-x86_64-DVD-1804.iso
- JDK:jdk-8u212-linux-x64.tar.gz
- Hadoop:hadoop-3.1.3.tar.gz
目录
1 需求
Yarn默认的容量调度器是一条单队列的调度器,在实际使用中会出现单个任务阻塞整个队列的情况。同时,随着业务的增长,公司需要分业务限制集群使用率。这就需要我们按照业务种类配置多条任务队列。
2 配置多队列的容量调度器
默认Yarn的配置下,容量调度器只有一条Default队列。在capacity-scheduler.xml中可以配置多条队列,并降低default队列资源占比:
<!-- 指定多队列 -->
<property>
<name>yarn.schedule