cdh使用公平调度策略FairScheduler,调大最大运行app个数

最新推荐文章于 2022-05-26 13:10:41 发布

weixin_33991418

最新推荐文章于 2022-05-26 13:10:41 发布

阅读量432

点赞数

文章标签： python

原文链接：https://my.oschina.net/forrest420/blog/638374

版权

2019独角兽企业重金招聘Python工程师标准>>>

在CDH-5.4.5-1.cdh5.4.5.p0.7版本中
使用了下面的调度策略
yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

设置最大运行app个数，默认是2
进入yarn的配置选项，选中ResourceManager Default Group标签
找到 Fair Scheduler XML 高级配置代码段（安全阀）标签 输入xml：

<?xml version="1.0"?>
<allocations>
  <queue name="root">
    <maxRunningApps>6</maxRunningApps>
     <queue name="default">
      <maxRunningApps>6</maxRunningApps>
      </queue>
  </queue>
</allocations>

参考:
http://blog.itpub.net/29754888/viewspace-1589873
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-fair-scheduler/

转载于:https://my.oschina.net/forrest420/blog/638374