1)关闭未声明资源池的自动生成。
进入YARN面板,选择配置->服务范围->资源管理->yarn.scheduler.fair.allow-undeclared-pools,默认选项是开启的,需要关闭,否则如果用户指定一个尚未声明的资源池时,YARN将为自动生成一个相对于的资源池。我们需要关闭该选项,修改之后点击保存更改,重启YARN服务生效。
2)关闭"使用默认队列时的Fair Scheduler用户"选项
进入YARN面板,选择配置->ResourceManager Default Group->yarn.scheduler.fair.user-as-default-queue,该选项默认是开启,表示用户提交任务时,如果未指定池名称,就使用用户名作为默认的池名称,我用需要关闭该选项,让未指定此名称时,任务运行在default池中。点击保存更改,重启YARN服务生效。
资源池队列配置:
放置规则:
1 对于手动指定的资源池,比如:root.bigdata.offline 存在,则使用root.bigdata.offline队列。
2 对于手动指定的资源池,不存在的,使用root.default队列。
3 对于未指定队列的任务,使用root.default队列。
计划模式
暂不配置:
用户限制
暂不配置: