【Yarn】Yarn调度ResourceScheduler框架之FairScheduler

于 2023-06-23 22:06:40 发布
阅读量247 收藏
点赞数
分类专栏： 大数据-hadoop 文章标签： java 开发语言
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/126208604
版权
大数据-hadoop 专栏收录该内容
128 篇文章 479 订阅 ¥29.90 ¥99.00
订阅专栏
本文详细探讨了Yarn调度器中的FairScheduler，从AsyncDispatcher开始，讲解了FairScheduler的继承体系、初始化和服务启动过程。文章还深入到handle方法及FSParentQueue和FSLeafQueue的container分配策略，揭示了FairScheduler公平调度的核心实现。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

在上一篇文章：【Yarn】Yarn调度ResourceScheduler框架 我们大致了解了Yarn的带哦度框架，在这个里面我们将学习FairScheduler。

关于CapacityScheduler调度器请参考：【Yarn】Yarn调度ResourceScheduler框架之CapacityScheduler

RM对NM的调度分为心跳触发调度和持续调度，我们先从心跳调度开始讲。因为本文的主题是讲RM，这里就不讲NM启动过程了，放在另一篇文章里分析。我们直接从AsyncDispatcher讲起。

2.AsyncDispatcher

AsyncDispatcher的内部类GenericEventHandler会处理一个EventType: NODE_UPDATE的NodeUpdateSchedulerEvent，然后走我们熟悉的事件处理流程，最后交给ResourceManager的内部类SchedulerEventDispatcher处理，：

SchedulerEventDispatcher</

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Yarn】Yarn调度ResourceScheduler框架
九师兄
06-21 168
ResourceScheduler是资源调度器，它按照一定的约束条件(比如队列容量限制等）将集群中的资源分配给各个应用程序，当前主要考虑内存和CPU资源。ResourceScheduler是一个插拔式模块，YARN自带了一个批处理资源管理器-FIFO和两个多用户调度器–Fair Scheduler和Capacity Scheduler。默认是CapacityScheduler调度器，如果想自定义可以实现。这个类的方法不多，但是YarnScheduler的接口很多。
YARN中的任务队列调度器-公平调度器（Fair Scheduler）
candy_rainbow的博客
10-26 6256
一、概述 公平调度器可以为所有的应用“平均公平”分配资源，当然，这种“公平”是可以配置的，称为权重，可以在分配文件中为每一个队列设置分配资源的权重，如果没有设置，默认是1（由于默认权重相同，因此，在不做配置的情况下，作业（队列）之间的资源占比相同）。 默认地，所有的应用程序在一段时间内平均获得相等的资源份额； 默认地，公平调度程序仅基于内存调度公平决策，当然，这种策略...
Hadoop Yarn 配置文件fair-scheduler.xml含义
大数据流浪法师的学习笔记与分享
03-22 1343
Yarn 配置文件fair-scheduler.xml含义 例如： <?xml version="1.0"?> <allocations> <!-- users max running apps --> <userMaxAppsDefault>30</userMaxAppsDefault> <!-- 定义队列 --> &l...
YARN Fair Scheduler配置
逝无痕——kaidy
03-05 1742
文章目录启用Fair Scheduler队列配置参考 启用Fair Scheduler 在${HADOOP_HOME}/etc/hadoop/yarn-site.xml文件中添加如下配置： &lt;property&gt; &lt;name&gt;yarn.resourcemanager.scheduler.class&lt;/name&gt; &lt;value...
【Yarn】配置公平调度器
qq_41369191的博客
05-10 948
目录 添加如下属性到yarn-site.xml 添加配置文件fair-scheduler.xml 将新的配置同步到集群所有节点,重启Yarn 创建相应的用户进行测试 提交任务 查看任务 添加如下属性到yarn-site.xml <!-- 指定使用fairScheduler的调度方式 --> <property> <name>yarn.resourcemanager.scheduler.class</name>
YARN框架代码详细分析
07-06
FairScheduler是YARN中一种支持公平调度的资源调度器，它能够按照公平原则合理地分配资源，使得集群中的所有作业都能按比例得到相应的资源。 3. MRAppMaster分配器：涉及MRAppMaster的代码分析、任务周期管理及资源...
Hadoop+YARN资源分配+与调度的研究
10-09
Hadoop的资源管理系统YARN虽然提供了三种内置的资源调度器（FIFO Scheduler、Capacity Scheduler和Fair Scheduler），但在实际应用过程中，随着业务需求的增长和应用场景的多样化，这些内置调度器往往无法完全满足...
Apache Hadoop---Yarn.docx
06-12
调度器可以实现多种调度策略，如CapacityScheduler和FairScheduler，以满足不同应用场景的需求。此外，YARN的安全模型考虑了ApplicationMaster可能存在的错误或恶意行为，确保了集群的安全性。 总之，Apache Hadoop...
Yarn常见问题维护手册V1.01
08-03
检查 RM 的调度器配置，如公平调度器（Fair Scheduler）或容量调度器（Capacity Scheduler），确保队列容量设置合理，以及预置的应用程序最大运行实例数。 解决这些问题通常需要对 Hadoop 集群的配置、日志分析和...
YARN调度相关整理
枫轩缘
02-16 2696
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。 一、调度器的选择 在Yarn中
Hadoop生态圈（三十八）- YARN Fair Scheduler公平调度器深入研究
程序园@大Null
02-11 1821
什么是YARN Fair Scheduler，启用YARN Fair Scheduler，YARN Fair Scheduler资源配置文件，YARN Fair Scheduler配置，YARN Fair Scheduler资源调度分配案例，演示YARN Fair Scheduler，YARN Fair Scheduler整体结构
yarn中资源调度fair schedule详解
热门推荐
何成俭的博客
02-27 1万+
Fair Scheduler将整个Yarn的可用资源划分成多个资源池，每个资源池中可以配置最小和最大的可用资源（内存和CPU）、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。 现在一般的大数据平台也都提供了可配置的界面： 以TDH为例： default 也就是有一个默认的队列, 首先在yarn-site
YARN资源调度策略之Fair Scheduler
都是浮云
01-30 1633
目的 这篇文章是对公平调度器（FairScheduler）的说明，它是hadoop的一个可插拔的调度器，目的是让应用程序在YARN上能够公平的共享巨大的集群资源。 介绍 公平调度是一种将资源分配给应用程序的方法，这样所有应用程序平均都能在一段时间内获得相同的资源份额。Hadoop NextGen能够调度多个资源类型。默认情况下，Fair调度器仅基于内存来进行公平性决策。利用Ghodsi等人提出的占...
YARN : FairScheduler深入解析(队列维护，demand、fair share计算)
Deegue
12-03 1370
一、概要 首先，YARN FairScheduler主要做的事情： ① 处理NM心跳NodeUpdate，分配container。 ② 树状维护队列和任务，定时计算fair share等信息，并进行排序。 二、代码 1、初始化FairScheduler 在RM启动时会初始化FairScheduler， private void initScheduler(Configuration conf) throws IOException { synchronized (this) { th
YARN Fair Scheduler 配置
KNIFE_PAN的专栏
06-08 1765
1.yarn-site.xml<property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property> <property>
Yarn参数优化(Fair Scheduler版本)
qq_32445015的博客
11-21 351
YARN 自从hadoop2.0之后, 我们可以使用apache yarn 来对集群资源进行管理。yarn把可以把资源（内存,CPU）以Container的方式进行划分隔离。YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供处理能力, Container（容器）是YARN中处理能力的基本单元, 是对内存, CPU等的封装（容器）。 ResourceManager：以下简称RM。Y
Hadoop权威指南读书笔记(2) — Yarn简介及Capacity & Fair Scheduler
labud的专栏
07-27 3280
Yarn简介Yarn(Yet Another Resource Negotiator)是hadoop2中引入的一个集群资源管理系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值