YARN 公平调度器 cannot also include a maxAMShare element

已于 2022-04-14 10:53:01 修改
阅读量314 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
于 2022-04-13 03:32:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adam_captain/article/details/124138986
版权

初始化fair调度器的时候发现RM无法启动，然后查看日志发现以下异常

发现就是指定type='parent'或者包含子队列的队列元素不能有maxAMShare元素，也就是不能指定AM的资源占比。

然后我在fair-scheduler.xml把<maxAMShare></maxAMShare>删掉就能正常启动Yarn了，这里估计是新的fair调度器的配置信息有更改，不允许父队列元素指定AM资源占比，待我读一下CDH官方文档后再来更新补充……

AdamShyly
关注
专栏目录
公共大数据集群中如何配置 YARN 的公平调度器和容量调度器
明哥的IT随笔
11-28 1733
公共大数据集群中如何配置 YARN 的公平调度器和容量调度器 1 YARN 资源管理框架与公平/容量调度器 2 公平/容量调度器配置原则概述 3 如何排查调度器资源配置引起的业务问题 4 公平调度器相关重要参数 5 容量调度器相关重要参数
YARN中的任务队列调度器-公平调度器（Fair Scheduler）
candy_rainbow的博客
10-26 6387
一、概述 公平调度器可以为所有的应用“平均公平”分配资源，当然，这种“公平”是可以配置的，称为权重，可以在分配文件中为每一个队列设置分配资源的权重，如果没有设置，默认是1（由于默认权重相同，因此，在不做配置的情况下，作业（队列）之间的资源占比相同）。 默认地，所有的应用程序在一段时间内平均获得相等的资源份额； 默认地，公平调度程序仅基于内存调度公平决策，当然，这种策略...
三：Fair Scheduler 公平调度器
weixin_30898109的博客
08-30 205
参考资料： http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html http://han-zw.iteye.com/blog/2322189 (转载其部分内容) 1.介绍2.队列分层3.配置3.1配置yarn-site.xml3.2 Allocation file格式3....
关于 maxResources、maxAMShare 、NodeManagerResource 的经验分享
minghai
12-09 2854
文章目录Fair-Schedule.xmlroot 及父队列队列相关的配置maxResourcesmaxAMShare叶子队列maxAMShare在 Yarn-site.xml 中的相关配置NodeManager Resource 配置Fair-Schedule.xml 配置模板 Fair-Schedule.xml root 及父队列队列相关的配置 maxResources 对于root队列的配置，重点关注root队列的 maxResources，如果 maxResources 的值配置的过小，可能会导致
hadoop yarn公平调度配置
记录
08-31 1250
目录 一、修改配置文件 二、重启yarn 三、确认是否已经正确配置 四、执行报错查看 一、修改配置文件 修改/hadoop-3.2.1/etc/hadoop/yarn-site.xml <?xml version="1.0"?> <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>ma
Fair公平调度器一个参数“maxAMShare”的疑问
最新发布
leon_zhangwy的博客
11-13 722
maxAMShare CDH，配置的Fair调度器
充分了解yarn的三种调度器
03-22
充分了解 Yarn 的三种调度器 Yarn 是一个资源管理平台，提供了三个调度器：FIFO Scheduler、Fair Scheduler 和 Capacity Scheduler。这三个调度器的使用场景和优缺点如下所述： 1. FIFO Scheduler（先进先出调度器...
Hadoop技术-YARN资源调度器.pptx
11-02
"Hadoop技术-YARN资源调度器" ...FIFO调度器、Capacity调度器和Fair调度器是YARN资源调度器的三种调度策略，每种调度策略都有其优点和缺点，选择合适的调度策略可以提高集群资源的利用率和应用程序的执行效率。
YARN 资源调度器
weixin_48649930的博客
11-24 1421
1.基本架构 资源调度器是 YARN 中最核心的组件之一，且是插拔式的，它定义了一整套接口规范以便用户可按照需要实现自己的调度器。 YARN 自带了 FIFO，Capacity Scheduler，Fair Scheduler 三种常用资源调度器，用户也可以按照接口规范编写一个新的资源调度器。 可通过参数 yarn.resourcemanager.scheduler.class 设置资源调度器的主类，默认是 Capacity Scheduler 容量调度器 YARN的资源管理器实际上是一个事件处理器，它需
别被官方文档迷惑了！这篇文章帮你详解yarn公平调度
weixin_34354173的博客
10-08 240
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由@edwinhzhang发表于云+社区专栏 FairScheduler是yarn常用的调度器，但是仅仅参考官方文档，有很多参数和概念文档里没有详细说明，但是这些参明显会影响到集群的正常运行。本文的主要目的是通过梳理代码将关键参数的功能理清楚。下面列出官方文档中常用的参数： yarn.scheduler.fair.preem...
yarn中资源调度fair schedule详解
何成俭的博客
02-27 1万+
Fair Scheduler将整个Yarn的可用资源划分成多个资源池，每个资源池中可以配置最小和最大的可用资源（内存和CPU）、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。 现在一般的大数据平台也都提供了可配置的界面： 以TDH为例： default 也就是有一个默认的队列, 首先在yarn-site
Yarn资源请求处理和资源分配原理解析
热门推荐
小昌昌的博客
12-14 1万+
目录 概述 FairScheduler的资源调度原理和代码 FairScheduler的调度概览 两种调度时机-心跳调度和持续调度 开始进行资源调度 判断这个application是否适合在这个节点上分配资源运行 YARN请求资源时的locality和relaxility限定 资源分配assignContainer Parent节点调用FSParentQueueassignContainer
yarn资源调度的几种方式与生产使用
lihuazaizheli的博客
07-02 3639
文章目录1.yarn的资源调度方式及生产配置1.1 FIFO Scheduler 先进先出1.2 Capacity Scheduler 计算1.3 FairScheduler 公平 生产1.4 三种调度器的区别1.5 如何配置调度器2.对公平调度器的配置资源抢占的配置3. 使用公平调度器后，yarn web界面Scheduler的理解3.1 上述公平调度器配置后，yarn 队列的层级结构3.2 各个队列的资源分配情况3.3 使用公平调度器后，yarn web界面Schedule理解 1.yarn的资源调度方
yarn的调度器
weixin_40035337的博客
08-24 338
Fair Share 指的都是Yarn根据每个队列的权重、最大最小可运行资源计算的得到的可以分配给这个队列的最大可用资源。 yarn调度器的配置 1）yarn的三种调度策略 MR1 FIFO策略： 有两个任务，第一个是任务需要大量资源；第二个需要少量资源，但是紧急重要任务，此时第二个需要等待第一个执行完，才能执行第二个。 弊端：由于顺序执行任务，如果第一个是大量资源，后续任务需要等待。 没有做到资源共享。 容量调度策略： 共享调度策略。 将集群资源，给队列分配部分资源，每个队列互不
YARN 三大调度器 之 Fair Schedule 公平调度器
努力吧闫小胖的博客
09-06 3781
Fair Schedule 先上官网链接：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/FairScheduler.html 本帖基本来自官方文档~细改了翻译，字有点多，多为文字描述= =慢慢看 另一篇：YARN 三大调度器 之 Capacity Schedule 容器调度器 概述 公平调度是一种为...
Yarn FairSheduler使用FairSharePolicy计算Fair Share的规则、原理和代码实现
小昌昌的博客
06-10 6391
目录 概述 1. Steady Fair Share 原理和计算方式 2. Instantaneous Fair Share 原理和计算方式 总结 概述 想要对Yarn的FairScheduler队列资源管理、以及抢占规则有正确的理解，必须知道Yarn的Fair Share的含义。我们在yarn的管理页面里面，经常可以看到队列的Instantaneous Fair Share...
fair-scheduler.xml参数配置及解释
youziguo的专栏
01-29 3283
一、Fair Scheduler相关参数 Fair Scheduler的配置包括两部分； （一）yarn_site.xml，主要用于配置调度器级别的参数； （二）fair_scheduler.xml，主要用于配置各个队列的资源量、权重等信息。 首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为：org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.Fa...
CDH5.4.4基于yarn的公平调度器配置
Cumu Blog
11-30 5148
公平调度器介绍 简介      公平调度器是一种赋予作业（app）资源的方法，目的是让所有的作业随着时间的推移，都能获得平均的资源。hadoop NG有能力调度多种不同类型的资源（CPU cores、memory）。默认情况下，公平调度器只公平得调度作业memory的使用，但是通过配置我们可以调度memery和CPU。当第一个作业提交到集群上运行时，该作业使用集群的所有资源，这时候别的作业
How-to: enable fair scheduler in hadoop
lulynn的博客
07-17 721
Introduction and reference: http://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-site/FairScheduler.html Steps: Add following in yarn-site.xml:                         yarn.resou
YARN资源调度器详解：从基础到实践
"大数据课程-Hadoop集群程序设计与开发，重点讲解了Yarn资源调度器，包括Yarn调度算法、常用命令、案例实操以及详细介绍了Yarn的基本架构和工作机制。" 在大数据处理领域，Hadoop作为分布式计算框架，其YARN（Yet ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值