Fair公平调度器一个参数“maxAMShare”的疑问

最新推荐文章于 2024-06-23 08:00:00 发布
最新推荐文章于 2024-06-23 08:00:00 发布
阅读量675 收藏
点赞数
文章标签： spark yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leon_zhangwy/article/details/127830015
版权

我们用的CDH，配置的Fair调度器，DRF策略。

maxAMShare参数原文解释如下：

maxAMShare: limit the fraction of the queue’s fair share that can be used to run application masters. This property can only be used for leaf queues. For example, if set to 1.0f, then AMs in the leaf queue can take up to 100% of both the memory and CPU fair share. The value of -1.0f will disable this feature and the amShare will not be checked. The default value is 0.5f.

        看资料是说这参数用来限制提交任务的个数。

      如果这个参数有设置默认值0.5，单个队列中ApplicationMaster资源的最大占比就是50%。此处ApplicationMaster资源是指哪部分啊？是指的任务提交（hive on spark和mr都有）时appmaster申请到的容器大小吗？还是包括了该任务所有计算的容器资源在内呀？

 

leon_zhangwy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
关于 maxResources、maxAMShare 、NodeManagerResource 的经验分享
minghai
12-09 2693
文章目录Fair-Schedule.xmlroot 及父队列队列相关的配置maxResourcesmaxAMShare叶子队列maxAMShare在 Yarn-site.xml 中的相关配置NodeManager Resource 配置Fair-Schedule.xml 配置模板 Fair-Schedule.xml root 及父队列队列相关的配置 maxResources 对于root队列的配置，重点关注root队列的 maxResources，如果 maxResources 的值配置的过小，可能会导致
别被官方文档迷惑了！这篇文章帮你详解yarn公平调度
weixin_34354173的博客
10-08 208
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由@edwinhzhang发表于云+社区专栏 FairScheduler是yarn常用的调度器，但是仅仅参考官方文档，有很多参数和概念文档里没有详细说明，但是这些参明显会影响到集群的正常运行。本文的主要目的是通过梳理代码将关键参数的功能理清楚。下面列出官方文档中常用的参数： yarn.scheduler.fair.preem...
CDH Yarn资源队列划分管理
高矮
06-02 1万+
CDH Yarn资源队列划分管理 场景：根据不同项目或不同用户，对yarn资源队列进行划分，达到资源管控，任务管控的目的 CDH版本：5.11.0 配置： 1、 yarn资源队列参数设置： (1) yarn.scheduler.fair.user-as-default-queue false 根据图中中文解释可知，这个参数设置为false后，没有创建资源队列的用户，提交任务时，任...
YARN 公平调度器 cannot also include a maxAMShare element
AdamShyly的博客
04-13 288
初始化fair调度器的时候发现RM无法启动，然后查看日志发现以下异常 发现就是指定type='parent'或者包含子队列的队列元素不能有maxAMShare元素，也就是不能指定AM的资源占比。 然后我在fair-scheduler.xml把<maxAMShare></maxAMShare>删掉就能正常启动Yarn了，这里估计是新的fair调度器的配置信息有更改，不允许父队列元素指定AM资源占比，待我读一下CDN官方文档后再来更新补充…… ...
Yarn FairSheduler使用FairSharePolicy计算Fair Share的规则、原理和代码实现
小昌昌的博客
06-10 6212
目录 概述 1. Steady Fair Share 原理和计算方式 2. Instantaneous Fair Share 原理和计算方式 总结 概述 想要对Yarn的FairScheduler队列资源管理、以及抢占规则有正确的理解，必须知道Yarn的Fair Share的含义。我们在yarn的管理页面里面，经常可以看到队列的Instantaneous Fair Share...
比例公平调度算法.rar_begunvk3_proportional fair_比例公平_比例公平算法_调度算法
07-14
比例公平调度算法的matlab算法，可能有不完善的地方，仅供参考
充分了解yarn的三种调度器
03-22
Yarn 是一个资源管理平台，提供了三个调度器：FIFO Scheduler、Fair Scheduler 和 Capacity Scheduler。这三个调度器的使用场景和优缺点如下所述： 1. FIFO Scheduler（先进先出调度器） FIFO Scheduler 是最简单...
PFS1_08aug18.zip_proportional fair_公平比例_比例公平_比例公平调度_资源管理
07-15
比例公平调度matlab源程序，按照Goldsmith的无线通信上的算法编程。也可以嵌入到OFDMA资源管理的算法中。 该程序有详细注释。程序函数名称为PFS1_08aug18.m
Hadoop公平调度器指南.pdf
04-17
在常规操作中，当提交了一个新作业时，公平调度器会等待已运行作业中的任务完成以 释放时间片给新的作业。但，公平调度器也支持在可配置的超时时间后对运行中的作业进行 抢占。如果新的作业在一定时间内还获取不到...
Linux内核完全公平调度器的分析及模拟.pdf
09-06
最后就在2.6.23内核中发布新的完全公平调度器CFS（Completely Fair Scheduler），它采用了与以往调度器完全不同的设计理念，具有革命性的意义。 二、新一代调度器CFS的工作原理 CFS调度器是由HigMolnar设计实现的...
Yarn资源请求处理和资源分配原理解析
热门推荐
小昌昌的博客
12-14 1万+
目录 概述 FairScheduler的资源调度原理和代码 FairScheduler的调度概览 两种调度时机-心跳调度和持续调度 开始进行资源调度 判断这个application是否适合在这个节点上分配资源运行 YARN请求资源时的locality和relaxility限定 资源分配assignContainer Parent节点调用FSParentQueueassignContainer
[Hadoop]-Yarn-调度器篇
weixin_30809333的博客
06-23 192
Yarn的资源调度策略 　　理想情况下,我们对Yarn的资源申请应该立即得到满足,但实际情况下整个集群的资源总量是有限的,这时就依赖资源调度器对资源进行调度了. 　　但在实际过程中,资源的调度策略本身就是一个难题,很难有一个完美的调度策略可以适用与所有的情况,为此Yarn提供了三种调度器让我们自行选择适用 　　FIFO调度器 　　　　　　这种调度会把所有资源申请放入一个队列先进先出.这是最...
yarn中资源调度fair schedule详解
何成俭的博客
02-27 1万+
Fair Scheduler将整个Yarn的可用资源划分成多个资源池，每个资源池中可以配置最小和最大的可用资源（内存和CPU）、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。 现在一般的大数据平台也都提供了可配置的界面： 以TDH为例： default 也就是有一个默认的队列, 首先在yarn-site
YARN 三大调度器 之 Fair Schedule 公平调度器
努力吧闫小胖的博客
09-06 3736
Fair Schedule 先上官网链接：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/FairScheduler.html 本帖基本来自官方文档~细改了翻译，字有点多，多为文字描述= =慢慢看 另一篇：YARN 三大调度器 之 Capacity Schedule 容器调度器 概述 公平调度是一种为...
CDH5.4.4基于yarn的公平调度器配置
Cumu Blog
11-30 5096
公平调度器介绍 简介      公平调度器是一种赋予作业（app）资源的方法，目的是让所有的作业随着时间的推移，都能获得平均的资源。hadoop NG有能力调度多种不同类型的资源（CPU cores、memory）。默认情况下，公平调度器只公平得调度作业memory的使用，但是通过配置我们可以调度memery和CPU。当第一个作业提交到集群上运行时，该作业使用集群的所有资源，这时候别的作业
Yarn 公平调度器案例
weixin_44966780的博客
12-05 421
Yarn 公平调度器案例 需求 创建两个队列，分别是 test 和 xiaoqiu（以用户所属组命名）。期望实现以下效果：若用户提交任务时指定队列，则任务提交到指定队列运行；若未指定队列，test 用户提交的任务到 root.group.test 队列运行，xiaoqiu 提交的任务到 root.group.xiaoqiu 队列运行（注：group 为用户所属组）。 公平调度器的配置涉及到两个文件，一个是 yarn-site.xml，另一个是公平调度器队列分配文件 fair-scheduler.xml（文件
How-to: enable fair scheduler in hadoop
lulynn的博客
07-17 704
Introduction and reference: http://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-site/FairScheduler.html Steps: Add following in yarn-site.xml:                         yarn.resou
2.Yarn基础_工作原理
风不止步的博客
10-15 601
一.Yarn调度流程 1.Client向YARN提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 2.ResourceManager为Job分配第一个Container，并与Container所在的NodeManager通信，要求NodeManager在这个Container中启动该作业的ApplicationMast...
从工具产品体验对比spark、hadoop、flink
最新发布
一个7年大数据开发工程师的碎碎念
06-23 1232
作为大数据开发，偶尔也可以跳出技术角度，从产品的角度，通过效率、易用性、容错性、适应性、竞争优势、用户群体、维护支持、一致性和愿景等多个维度评估大数据框架，可以全面了解其可用性。每个框架都有其独特的优势，了解这些优势可以指导您为大数据项目做出明智的决策。
Linux完全公平调度算法
08-29
Linux完全公平调度算法（Completely Fair Scheduler，简称CFS）是Linux内核中用于进程调度的一种算法。CFS旨在实现公平、高效的进程调度，以确保每个进程都能按照其优先级得到公平的CPU时间片。 CFS通过红黑树数据结构来维护就绪进程队列，并使用虚拟时钟来衡量进程的运行时间。每个进程都有一个虚拟运行时间（virtual runtime），该时间用于衡量进程在CPU上运行的长度。CFS会根据进程的虚拟运行时间来决定下一个要执行的进程，从而实现公平调度。 CFS的主要特点之一是完全公平性，它尽量保证所有进程都能平等获得CPU时间。与其他调度算法相比，CFS更加注重细小的时间片分配，以减少对实时进程的影响。此外，CFS还支持动态优先级调整和进程组的处理。 总之，Linux完全公平调度算法（CFS）是一种旨在实现公平、高效的进程调度算法，它通过红黑树和虚拟时钟来实现对进程的调度，并尽量保证所有进程能够平等获得CPU时间。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值