YARN调度器的性能瓶颈

最新推荐文章于 2023-05-30 22:50:57 发布
最新推荐文章于 2023-05-30 22:50:57 发布
阅读量281 收藏
点赞数
分类专栏： hadoop yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bitbitbyte/article/details/105522931
版权

DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule向AppMaster返回资源. 同时这个过程是异步的.
在这里插入图片描述

如何解决调度器调度能力不足, 计算资源浪费的问题.

调度器有: 公平调度器, 和容量量调度器.

公平调度器的性能瓶颈的核心原因是: 核心调度流程是单线程执行的。这意味着Container分配是串行的，这是调度器存在性能瓶颈的核心原因.

参考
美团1万台 Hadoop 集群 YARN 的调优之路

lbzz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
3万字长文-大数据Yarn最全面试题及参考答案（持续更新）
大模型大数据攻城狮的专栏
05-04 280
在YARN中，Container是资源的抽象表示，它封装了一定量的系统资源，如内存、CPU、磁盘和网络带宽。资源规格：Container定义了一组资源规格，包括内存大小、CPU核心数等。执行环境：Container提供了一个执行环境，允许任务在其资源限制内运行。隔离性：不同Container之间是相互隔离的，一个Container内的应用程序不能访问另一个Container的资源。生命周期管理：Container有其生命周期，包括初始化、运行、停止和释放资源。任务封装。
Hadoop YARN：调度性能优化实践
美团技术团队
08-05 4080
背景 YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。 美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。 离线业务主要运行的是Hive on MapReduce， Spark SQL为主的数据仓库作业。 实时业务主要运行Spark Streaming，Flink为主的实时流计算作业。 机器学习业务主...
都是default惹的祸-yarn调度（一）-fair调度器drf调度策略作业不执行问题的调查和源码分析...
weixin_33816946的博客
05-11 555
本文主要记录了fair调度器drf调度策略作业不执行问题的解决过程，重点介绍了调查方法和调查过程细节，希望对大家了解fair调度器有所帮助 。 除本人知乎专栏外，转载请联系我。 一．问题背景 yarn的调度器有capacity和fair两种，之间的区别可以自行谷歌。fair调度器（附录1）是企业级hadoop用户常用的资源池...
76.Spark大型电商项目-用户访问session分析-troubleshooting之解决YARN队列资源不足导致的application直接失败
someby的博客
03-28 348
目录 现象 解决方案 本篇文章记录用户访问session分析-troubleshooting之解决YARN队列资源不足导致的application直接失败。 现象 如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。你可以指定提交到某个hadoop队列上的。每个队列都是可以有自己的资源的。 假设一个生产环境中的，给spark用的yarn资源...
hadoop任务优化-调整Yarn队列资源
wisgood的专栏
09-24 9025
hadoop任务优化1-调整Yarn队列资源
Yarn 调度器和调度算法
勇心在馨
08-03 724
Hadoop 作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。 CDH 框架默认调度器是 Fair Scheduler。 一、先进先出调度器（FIFO） FIFO 调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。 优点：简单易懂； 缺点：不支持多队列，生产环境很少使用； 二、 容量调度器.
深入分析hadoop之YARN原理、架构、作业流程及调度器
静待花开
03-19 1584
一、YARN的原理 1.1、yarn是什么？ 首先看一下官方对于这个词汇的解释：Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，在Hadoop2引入，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 划重点，这里...
学习笔记 | YARN 统一资源管理与调度 YARN
大虎牙的博客
06-20 904
统一资源管理与调度系统的设计； 统一资源管理与调度系统的实现——YARN。 01 统一资源管理与调度系统的设计 YARN 的全称是 Yet Another Resource Negotiator，直译过来是：另一种资源协调者，但是它的标准名称是统一资源管理与调度系统，这个名称一共包含 3 个词：统一、资源管理、调度。 来看看第 1 个词语：统一 对于大数据计算框架来说，统一指的是资源并不会与计算框架绑定，对于所有计算框架来说，所有资源都是无差别的，也就是说这个系统可以支持多种计算框架，但这是狭义的统一.
MapReduce\Yarn架构
01-27
MapReduce 1.x是Hadoop早期版本中实现的计算框架，而YARN（Yet Another Resource Negotiator）则是在Hadoop 2.x引入的资源管理器，以解决MapReduce 1.x中的性能瓶颈和资源管理问题。 在MapReduce 1.x架构中，...
YARN应用调度优化：任务调度与资源调控策略详解
YARN的出现解决了早期版本Hadoop中JobTracker的单点故障和性能瓶颈问题，提供了更高效和可伸缩的任务调度与资源调控机制。 ## 1.2 任务调度与资源调控的重要性 任务调度和资源调控是现代分布式计算框架中的关键...
Spark-troubleshooting-YARN队列资源不足导致app失效
u013939918的博客
03-09 769
troubleshooting YARN队列资源不足导致的application直接失败 现象： 如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。 你可以指定提交到某个yarn队列上的。每个队列都是可以有自己的资源的。 跟大家说一个生产环境中的，给spark用的yarn资源队列的情况：500G内存，200个cpu c
hadoop3.0yarn任务积压，资源仍然很多的问题解决
h952520296的博客
08-27 2723
版本 hadoop3.x yarn3.x 这几周一直发生yarn任务积压的情况 积压情形如下 yarn只用了一点点资源 hadoop stream 任务全部积压 卡住不动 查看web ui 很多未申请到的资源 但是container 资源却只有8192mb 1c hadoop stream 提交的job都如此 查看详细情形 发现map结束之后 reduce 几乎没有进行 全部卡住 集群里其他的任务没有什么问题 只有stream 任务会出现这种情况 空闲资源很多 ..
hadoop yarn 提高资源利用率
最新发布
qq_36481693的博客
05-30 434
yarn 提高资源利用率
hadoop job 未跑满资源_Hadoop跑满状态下的Yarn资源管理谈
weixin_39939918的博客
12-20 154
随着互联网的发展，互联网公司的业务越来越复杂。早在10年前，一个普通的小网站有个50台机器，能有20个Web服务器20个数据库，公司内有10来个应用系统，也就差不多了。但像Google、BAT这种巨无霸，很早就面临了大规模集群的管理问题，且问题越来越大。随着网络的爆炸发展，网络巨头公司的业务线越来越多，越来越复杂。看看现在的BAT，有多少业务线，内部有多少IT系统在不停歇的运转。倘若应用的维护者，...
Yarn主导资源公平性调度算法
我是坏人哦
04-18 3093
最近在看《Hadoop权威指南 第4版》，其中对主导资源公平性的介绍可能由于翻译原因，出现了一处错误，经查资料理解了drf算法。希望本文能帮助到同样在读此书并对此处有疑惑的同学。
跑满YARN资源-优化方向
xw514124202的博客
12-14 760
背景： YARN资源使用情况 如图从内存使用占比、Pending数量 可以看到 YARN的资源使用情况是很紧张的。 优化方向 1、JOB的执行引擎 MR -> Spark Sql 2、监控YARN资源在队列和整体使用情况： A、将不同类型的JOB 调整到不同队列中。 B、调整队列的资源分配比例，抢占比例。 C、调整JOB的开始执行时间，错开YARN资源使用高峰执行。 3、JOB优...
查看yarn的container的资源占用情况
热门推荐
aaa1117a8w5s6d的专栏
01-27 1万+
yarn上运行程序是由container来执行的，那么当我们想要知道每台节点对应的container的使用情况时，需要从何入手呢？ 开始我以为yarn的系统命令会有相应的提示，于是yarn --help，没有我想要的信息。那么从另一方面入手吧：Linux系统。 1. 首先top观察一下哪个线程比较像我们要找的那个线程，锁定线程ID 2. cd /proc/ 3. ls   --里面全都是正
Yarn调度器和调度算法(FIFO、容量调度器 与 公平调度器)
FunnyPrince_的博客
09-16 6675
.。
案例分享：如何使用yarn中的容量调度器
宝罗Paul 的博客
12-05 1797
容量调度器capacity scheduler有以下特性： 1，FIFO Scheduler的局限性，多个用户需要共享集群资源，集群资源以队列为单位划分； 2，可以控制每一个队列资源最低保障和最高限制，最高使用限制是防止某个队列占用过多空资源,导致其他队列资源紧张； 3，可以针对用户设置每个用户最高资源使用限制，以防止该用户滥用或者频繁使用资源； 4，每一个队列内部也是按照先进先出的原则调度资源；...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值