YARN 公平调度器 cannot also include a maxAMShare element

已于 2022-04-14 10:53:01 修改
阅读量287 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
于 2022-04-13 03:32:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adam_captain/article/details/124138986
版权

初始化fair调度器的时候发现RM无法启动，然后查看日志发现以下异常

发现就是指定type='parent'或者包含子队列的队列元素不能有maxAMShare元素，也就是不能指定AM的资源占比。

然后我在fair-scheduler.xml把<maxAMShare></maxAMShare>删掉就能正常启动Yarn了，这里估计是新的fair调度器的配置信息有更改，不允许父队列元素指定AM资源占比，待我读一下CDH官方文档后再来更新补充……

AdamShyly
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
公共大数据集群中如何配置 YARN 的公平调度器和容量调度器
明哥的IT随笔
11-28 1671
公共大数据集群中如何配置 YARN 的公平调度器和容量调度器 1 YARN 资源管理框架与公平/容量调度器 2 公平/容量调度器配置原则概述 3 如何排查调度器资源配置引起的业务问题 4 公平调度器相关重要参数 5 容量调度器相关重要参数
三：Fair Scheduler 公平调度器
weixin_30898109的博客
08-30 177
参考资料： http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html http://han-zw.iteye.com/blog/2322189 (转载其部分内容) 1.介绍2.队列分层3.配置3.1配置yarn-site.xml3.2 Allocation file格式3....
关于 maxResources、maxAMShare 、NodeManagerResource 的经验分享
minghai
12-09 2683
文章目录Fair-Schedule.xmlroot 及父队列队列相关的配置maxResourcesmaxAMShare叶子队列maxAMShare在 Yarn-site.xml 中的相关配置NodeManager Resource 配置Fair-Schedule.xml 配置模板 Fair-Schedule.xml root 及父队列队列相关的配置 maxResources 对于root队列的配置，重点关注root队列的 maxResources，如果 maxResources 的值配置的过小，可能会导致
Fair公平调度器一个参数“maxAMShare”的疑问
leon_zhangwy的博客
11-13 673
maxAMShare CDH，配置的Fair调度器
别被官方文档迷惑了！这篇文章帮你详解yarn公平调度
weixin_34354173的博客
10-08 208
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由@edwinhzhang发表于云+社区专栏 FairScheduler是yarn常用的调度器，但是仅仅参考官方文档，有很多参数和概念文档里没有详细说明，但是这些参明显会影响到集群的正常运行。本文的主要目的是通过梳理代码将关键参数的功能理清楚。下面列出官方文档中常用的参数： yarn.scheduler.fair.preem...
充分了解yarn的三种调度器
03-22
充分了解 Yarn 的三种调度器 Yarn 是一个资源管理平台，提供了三个调度器：FIFO Scheduler、Fair Scheduler 和 Capacity Scheduler。这三个调度器的使用场景和优缺点如下所述： 1. FIFO Scheduler（先进先出调度器...
基于YARN资源调度器的MapReduce作业数调节方法
05-06
YARN是Hadoop的一个分布式的资源管理系统，用来提高分布式集群的内存、I/O、网络、磁盘等资源的...实验表明，在YARN的容量调度器和公平调度器的基础上使用该方法，相比于默认配置，MR作业完成时间分别减少53%和14%左右.
Hadoop技术-YARN资源调度器.pptx
11-02
"Hadoop技术-YARN资源调度器" ...FIFO调度器、Capacity调度器和Fair调度器是YARN资源调度器的三种调度策略，每种调度策略都有其优点和缺点，选择合适的调度策略可以提高集群资源的利用率和应用程序的执行效率。
YARN 基础架构，工作机制，任务调度器
03-31
YARN 基础架构、工作机制、任务调度器 YARN（Yet Another Resource Negotiator）是 Hadoop 2.0 中的资源管理系统，它的设计思想是将 MRv1 中的 JobTracker 拆分成两个独立的服务：一个全局的资源管理器 ...
大数据课程-Hadoop集群程序设计与开发-5.Yarn资源调度器_lk_edit.pptx
01-01
大数据课程——Hadoop集群程序设计与开发，教师版，提供教学大纲、教案、教学设计、实训文档等，课程内容包含教学准备环境、软件安装、作业、教学文档、演示视频，花费巨额时间亲自制作，下载后可私信提供上述所有...
yarn中资源调度fair schedule详解
何成俭的博客
02-27 1万+
Fair Scheduler将整个Yarn的可用资源划分成多个资源池，每个资源池中可以配置最小和最大的可用资源（内存和CPU）、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。 现在一般的大数据平台也都提供了可配置的界面： 以TDH为例： default 也就是有一个默认的队列, 首先在yarn-site
Yarn资源请求处理和资源分配原理解析
热门推荐
小昌昌的博客
12-14 1万+
目录 概述 FairScheduler的资源调度原理和代码 FairScheduler的调度概览 两种调度时机-心跳调度和持续调度 开始进行资源调度 判断这个application是否适合在这个节点上分配资源运行 YARN请求资源时的locality和relaxility限定 资源分配assignContainer Parent节点调用FSParentQueueassignContainer
yarn资源调度的几种方式与生产使用
lihuazaizheli的博客
07-02 3353
文章目录1.yarn的资源调度方式及生产配置1.1 FIFO Scheduler 先进先出1.2 Capacity Scheduler 计算1.3 FairScheduler 公平 生产1.4 三种调度器的区别1.5 如何配置调度器2.对公平调度器的配置资源抢占的配置3. 使用公平调度器后，yarn web界面Scheduler的理解3.1 上述公平调度器配置后，yarn 队列的层级结构3.2 各个队列的资源分配情况3.3 使用公平调度器后，yarn web界面Schedule理解 1.yarn的资源调度方
yarn的调度器
weixin_40035337的博客
08-24 293
Fair Share 指的都是Yarn根据每个队列的权重、最大最小可运行资源计算的得到的可以分配给这个队列的最大可用资源。 yarn调度器的配置 1）yarn的三种调度策略 MR1 FIFO策略： 有两个任务，第一个是任务需要大量资源；第二个需要少量资源，但是紧急重要任务，此时第二个需要等待第一个执行完，才能执行第二个。 弊端：由于顺序执行任务，如果第一个是大量资源，后续任务需要等待。 没有做到资源共享。 容量调度策略： 共享调度策略。 将集群资源，给队列分配部分资源，每个队列互不
YARN 三大调度器 之 Fair Schedule 公平调度器
努力吧闫小胖的博客
09-06 3735
Fair Schedule 先上官网链接：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/FairScheduler.html 本帖基本来自官方文档~细改了翻译，字有点多，多为文字描述= =慢慢看 另一篇：YARN 三大调度器 之 Capacity Schedule 容器调度器 概述 公平调度是一种为...
Yarn FairSheduler使用FairSharePolicy计算Fair Share的规则、原理和代码实现
小昌昌的博客
06-10 6196
目录 概述 1. Steady Fair Share 原理和计算方式 2. Instantaneous Fair Share 原理和计算方式 总结 概述 想要对Yarn的FairScheduler队列资源管理、以及抢占规则有正确的理解，必须知道Yarn的Fair Share的含义。我们在yarn的管理页面里面，经常可以看到队列的Instantaneous Fair Share...
fair-scheduler.xml参数配置及解释
youziguo的专栏
01-29 2777
一、Fair Scheduler相关参数 Fair Scheduler的配置包括两部分； （一）yarn_site.xml，主要用于配置调度器级别的参数； （二）fair_scheduler.xml，主要用于配置各个队列的资源量、权重等信息。 首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为：org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.Fa...
CDH5.4.4基于yarn的公平调度器配置
Cumu Blog
11-30 5095
公平调度器介绍 简介      公平调度器是一种赋予作业（app）资源的方法，目的是让所有的作业随着时间的推移，都能获得平均的资源。hadoop NG有能力调度多种不同类型的资源（CPU cores、memory）。默认情况下，公平调度器只公平得调度作业memory的使用，但是通过配置我们可以调度memery和CPU。当第一个作业提交到集群上运行时，该作业使用集群的所有资源，这时候别的作业
How-to: enable fair scheduler in hadoop
lulynn的博客
07-17 704
Introduction and reference: http://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-site/FairScheduler.html Steps: Add following in yarn-site.xml:                         yarn.resou
hadoop yarn 资源调度器配置
最新发布
09-18
目前YARN支持两种调度器：容量调度器和公平调度器。容量调度器将集群资源按比例分配给不同的队列，每个队列有固定的资源容量；而公平调度器将资源动态分配给各个应用程序，根据应用程序的运行状况动态调整资源分配。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值