【Yarn】Yarn调度ResourceScheduler框架之CapacityScheduler

最新推荐文章于 2024-06-07 01:24:11 发布
最新推荐文章于 2024-06-07 01:24:11 发布
阅读量127 收藏
点赞数
分类专栏： 大数据-hadoop 文章标签： hadoop yarn
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/126191496
版权
大数据-hadoop 专栏收录该内容
128 篇文章 479 订阅 ¥29.90 ¥99.00
订阅专栏
本文详细介绍了Yarn的CapacityScheduler，它是一个多用户调度器，以队列划分资源，并处理Application提交、Container资源调度等事件。CapacityScheduler通过EventHandler处理SchedulerEventType事件，包括APP_ADDED和NODE_UPDATE，进行Container的启动、回收和资源分配。资源分配遵循三级策略：队列、应用和Container，采用优先级和本地性原则。整个调度过程分为ResourceManager和ApplicationMaster两层，采用异步资源分配的拉模型。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

在上一篇文章：【Yarn】Yarn调度ResourceScheduler框架 我们大致了解了Yarn的带哦度框架，在这个里面我们将学习CapacityScheduler。

2.CapacityScheduler

CapacityScheduler 是Yahoo!开发的多用户调度器，它以队列为单位划分资源， 每个队列可设定-定比例的资源最低保证和使用上限，同时,每个用户也可设定一定的资源使用 上限以防止资源滥用。而当一个队列的资源有剩余时，可暂时将剩余资源共享给其他队列。

具体配置可以参考网上其他人的。

在这里插入图片描述
在这里插入图片描述
根据如下的CapacityScheduler的继承结构图得知: CapacityScheduler 是- -个 EventHandler也是一个Service,更是-一个 YarnScheduler.

所以我们需要关注它的四个方法:

●
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Yarn】Yarn调度ResourceScheduler框架
九师兄
06-21 168
ResourceScheduler是资源调度器，它按照一定的约束条件(比如队列容量限制等）将集群中的资源分配给各个应用程序，当前主要考虑内存和CPU资源。ResourceScheduler是一个插拔式模块，YARN自带了一个批处理资源管理器-FIFO和两个多用户调度器–Fair Scheduler和Capacity Scheduler。默认是CapacityScheduler调度器，如果想自定义可以实现。这个类的方法不多，但是YarnScheduler的接口很多。
yarn架构组件
weixin_44361667的博客
03-10 1301
YARN 总体上是 master/slave 结构，在整个资源管理框架中，ResourceManager 为 master，NodeManager 是 slave。 YARN的基本组成结构，YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等几个组件构成。 ResourceManager是Master上一个独立运行的进程，负责集群统一的资源管理、调度、分配等等； NodeManager是Slave上一个独立运行的进程，负责上
【Yarn】Yarn调度ResourceScheduler框架之FairScheduler
九师兄
06-23 247
【Yarn】Yarn调度ResourceScheduler框架我们大致了解了Yarn的带哦度框架，在这个里面我们将学习FairScheduler。【Yarn】Yarn调度ResourceScheduler框架之CapacitySchedulerRM对NM的调度分为心跳触发调度和持续调度，我们先从心跳调度开始讲。因为本文的主题是讲RM，这里就不讲NM启动过程了，放在另一篇文章里分析。我们直接从AsyncDispatcher讲起。
Hadoop—Yarn Scheduler调度器图文详解
喻师傅的学习笔记
04-19 1123
Yarn调度器图文详解
Yarn scheduler Capacity调度器概念以及配置
赵英超的博客
11-07 1357
试想一下，你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？ 如果你存在上述的困惑，可以多了解一些yarn的资源调度器。 在Yarn框架中，调度器是一块很重要的内容。有了合适的调度规则，就可
hadoop 2.7.2 yarn中文文档—— Capacity Scheduler
AntKengElephant的博客
11-23 530
yarn框架中调度器的一种-CapacityScheduler，调度器是yarn架构中的resourcemanager的一种可插拔式组件，该组件使得多用户可以共享集群资源，另外一种常用的调度器是Fair Scheduler。再次附上神图： 在HOD架构中，每个用户或者用户组拥有私有的集群，这些集群是动态分配的，但是只有有限的弹性，这可能导致集群的效率低下和数据的局部性，组织间共享集群来运行多...
坐实大数据资源调度框架之王，Yarn为何这么牛
华为云官方博客
04-12 938
Yarn的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为大数据的代名词。
YARN Capacity Scheduler原理与代码实例讲解
最新发布
禅与计算机程序设计艺术
06-07 347
YARN Capacity Scheduler原理与代码实例讲解 1.背景介绍 YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理框架，它负责管理集群资源并调度应用程序。YARN的Capacity Sc
YARN 资源调度器
weixin_48649930的博客
11-24 1377
1.基本架构 资源调度器是 YARN 中最核心的组件之一，且是插拔式的，它定义了一整套接口规范以便用户可按照需要实现自己的调度器。 YARN 自带了 FIFO，Capacity Scheduler，Fair Scheduler 三种常用资源调度器，用户也可以按照接口规范编写一个新的资源调度器。 可通过参数 yarn.resourcemanager.scheduler.class 设置资源调度器的主类，默认是 Capacity Scheduler 容量调度器 YARN的资源管理器实际上是一个事件处理器，它需
Hadoop+YARN资源分配+与调度的研究
10-09
Hadoop的资源管理系统YARN虽然提供了三种内置的资源调度器（FIFO Scheduler、Capacity Scheduler和Fair Scheduler），但在实际应用过程中，随着业务需求的增长和应用场景的多样化，这些内置调度器往往无法完全满足...
Apache Hadoop---Yarn.docx
06-12
调度器可以实现多种调度策略，如CapacityScheduler和FairScheduler，以满足不同应用场景的需求。此外，YARN的安全模型考虑了ApplicationMaster可能存在的错误或恶意行为，确保了集群的安全性。 总之，Apache Hadoop...
Yarn常见问题维护手册V1.01
08-03
检查 RM 的调度器配置，如公平调度器（Fair Scheduler）或容量调度器（Capacity Scheduler），确保队列容量设置合理，以及预置的应用程序最大运行实例数。 解决这些问题通常需要对 Hadoop 集群的配置、日志分析和...
Yarn知名培训私密资料
04-17
YARN（Yet Another Resource Negotiator）是Apache Hadoop中用于资源管理和作业调度的核心组件。在Hadoop 2.x版本中引入，YARN的目标是解决原MapReduce框架（MRv1）的不足，提高集群资源的利用率和整体性能。YARN...
Yarn资源调度系统教程
07-19
1. 容量调度器（Capacity Scheduler）：预设了队列，按照预先设定的资源配额分配资源，适合多用户共享集群的场景。 2. FIFO调度器：简单优先级调度，按应用程序提交的顺序分配资源，适合小规模、单一用户环境。 3....
【Yarn】hadoop的yarn资源队列
热门推荐
九师兄
09-12 2万+
Capacity Schedule调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。
【yarn】yarn 命令行查看 资源状态
九师兄
01-11 1万+
这个命令句就可以 , 查看集群的资源情况 , 包括正在使用的情况.如何通过shell 命令或脚本查看剩余的 cpu核心数 和内存。本次是因为yarn界面现场不给开放一个任务总是说资源不足。
【hadoop】java 获取 yarn app 信息 报错 ConfiguredRMFailoverProxyProvider - Failing over to rm2
九师兄
04-07 5545
java 获取 yarn app 信息 报错 这个原因是没有配置相关的 2.场景2 本次是对方kerberos认证环境出现问题，也会报错这个 改问题最终解决，参考：【hadoop】java连接hadoop Kerberos 24小时过期问题
ogon denied for user/password. Able to find the database server and database, but the login request
九师兄
02-23 4110
背景：安装好了CDH 5.15.2集群的时候，安装Hive的时候，连接出问题，总是连接不上，使用工具可以远程连接，但是CDH页面不能连接。 报错信息 2019-02-22 22:45:37,478 INFO 1942664326@scm-web-85:com.cloudera.cmf.service.ServiceHandlerRegistry: Executing host command Hi...
YARN资源调度器详解：CapacityScheduler与FairScheduler策略对比
在大数据时代，Hadoop框架中的YARN（Yet Another Resource Negotiator，另一种资源管理器）作为核心组件之一，承担着分布式计算系统中资源的有效管理和调度。本文将深入探讨YARN的资源调度器，特别是Capacity...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值