YARN集群资源如何分配

最新推荐文章于 2024-05-17 04:51:20 发布
最新推荐文章于 2024-05-17 04:51:20 发布
阅读量6.1k 收藏 8
点赞数 3
分类专栏： Hadoop 文章标签： Yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xw514124202/article/details/81410546
版权
本文探讨了如何合理分配YARN集群资源，包括考虑总资源、预留资源、配置主要参数如`yarn.nodemanager.resource.memory-mb`和`yarn.nodemanager.resource.cpu-vcores`，以及调整资源调度分配参数。还提到了HDP提供的资源配置建议脚本，并强调了监控虚拟和物理内存、识别瓶颈资源的重要性。最后提供了相关参考资料。
摘要由CSDN通过智能技术生成

如何分配集群资源 (怎么配置Yarn)

问题: 给你一个集群，该如何对资源进行合理分配
总资源

集群中每台机器的配置 (RAM,CPU,Disk,网卡)

预留资源

总资源 - 集群中运行服务需要的资源(操作系统OS,DataNode,NodeManger,HBase,Hive,ZK,Impala…)

配置集群

YARN分配资源 主要参数:

yarn.nodemanager.resource.memory-mb 每个节点分配的内存
yarn.nodemanager.resource.cpu-vcores 每个节点分配的虚拟CPU
在这里插入图片描述
在这里插入图片描述

YARN资源调度分配 主要参数:

yarn.scheduler.minimum

最低0.47元/天 解锁文章
阿武z
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
YARN资源配置
wflh323的专栏
02-15 1899
Yarn资源配置需要平衡服务器cpu，内存，磁盘资源。Hortonworks推荐两个Container使用1个cpu，1块磁盘能达到很好平衡。    Hortonworks提供了yarn内存参数设置脚本，执行yarn-utils.sh(下载地址https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manual...
CDH集群YARN动态资源池的规划与管理.docx
10-11
FIFO Scheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。 FIFO Scheduler是最简单...
Yarn学习（一）YARN的资源调度
potter
04-27 4455
正文YARN1、YARN概述（Yet Another Resource Negotiator）YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。Yarn是Hadoop2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，这些资...
YARN 让你彻底搞明白YARN资源分配
最新发布
2401_84731999的博客
05-17 542
这张图是YARN的经典任务执行流程图。先简单来梳理提交任务的流程。
yarn-资源分配策略
DCHAO的博客
08-22 3958
一、SRC yarn的调度器、角色组、资源池 资源是有限的，所以需要分配资源，我们希望可以为提交到yarn的每个任务设置具体的资源，Hadoop中提供的调度器Scheduler就可以满足这种需求。所以就需要策略，不同的调度器实际上就是不同的策略。 调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个提交到yarn的应用程序。调度器仅根据各个...
hadoop-yarn资源分配介绍-以及推荐常用优化参数
测试工程师Eric的路...
06-05 1796
根据网上的学习，结合工作进行的一个整理。 如果有什么不正确的欢迎大家一起交流学习~ Yarn前言 作为Hadoop 2.x 的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。 这也简化了MapReduce，使其能够做到最好，处理数据。 使用YARN，您现在可以在Hadoop中运行多个应用程序，所有应用程序都共享一个公共资源管理。 那资源是有限的，YARN如何识别资源并按需分配大小呢？ 应用程序的运行过程 在学习Container之前，大家应先了解YARN.
Yarn的资源管理机制
淡定一生2333的博客
07-20 4809
资源调度器是Yarn的核心组件之一，它是ResourceManager中的一个组件，负责整个集群资源的管理和分配。 ResourceManager要处理的各种事件： ResourceManager本质上是一个事件处理器，处理来自外部的各种SchedulerEventType类型的事件，然后对Yarn上的资源做一些调整，事件有如下几种： 部分事件对应的动作如下： ...
Yarn资源调用demo案例
09-05
通过理解YARN的工作原理、配置以及应用开发，开发者可以更好地优化分布式应用，提高集群资源的利用率。这个"Yarn资源调用demo案例"就是一个理想的实践平台，帮助我们理论联系实际，掌握YARN的精髓。
分布式资源调度——YARN框架
03-01
我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展MapReduce1.x时的架构如下：分布式资源调度——YARN框架可以看到，1.x时也是Master/Slave这种主从结构，在集群上的表现就是一个JobTracker带多...
05.yarn集群安装启动.mp4
04-29
05.yarn集群安装启动.mp4
YARN&Mesos，论集群资源管理所面临的挑战
02-26
在国内，大部分的Spark用户都是由Hadoop过渡而来，因此YARN也成了大多Spark应用的底层资源调度保障。而随着Spark应用的逐渐加深，各种问题也随之暴露出来，比如资源调度的粒度问题。为此，7月2日晚，在CSDNSpark高端...
YARN内存配置计算脚本
07-14
一个计算yarn内存配置的python脚本yarn-util.py，该脚本有四个参数 参数 描述 -c CORES 每个节点CPU核数 -m MEMORY 每个节点内存总数（单位G） -d DISKS 每个节点的硬盘个数 -k HBASE 如果安装了Hbase则为True，否则为False
YARN架构和资源管理
he_321的博客
11-05 2204
架构Hadoop1和Hadoop2区别yarn架构图resourcemanager全剧的资源管理器，整个集群只有一个，负责集群整个资源的统一管理和调度分配功能： 处理客户端请求 启动/监控ApplicationMaster 监控NodeManager 资源调度与分配 NodeManager整个集群有多个，负责单结点的资源管理和使用功能： 单个结点上的资源管理和任务管理 处理来自ResourceMan
16-集群资源分配参数（项目中遇到的问题）
huaxing_ba的博客
05-22 323
题目：集群资源分配参数 集群有30台机器，跑mr任务时候发现5个map任务全部分配到了同一台机器上，这个可能是由于什么原因导致？ 答案： 解决方案：yarn.scheduler.fair.assignmultiple这个参数默认是开的，需要关掉 https://blog.csdn.net/leone911/article/details/51605172 ...
yarn 统一资源管理和调度平台
qq_46531267的博客
07-15 262
1. yarn有什么组件，各有什么作用？ resourceManager:资源管理器，负责给各个节点分配计算和存储资源以及响应各个节点的计算请求。 nodeManager:节点管理器，负责管理各个节点的container，以及开启map task和reduce task。 2. yarn的配置文件以及配置内容 1) Mapred-site.xml mapreduce的计算框架 2) Y...
大数据Hadoop学习（四）Yarn
qq_41816516的博客
09-08 526
目录Yarn (资源调度器)Yarn 基础框架工作机制Yarn 调度器和调度算法FIFO调度算法容量调度器（Capacity Scheduler）公平调度器（Fair Scheduler）常用命令Yarn 生产核心参数Yarn 案例实操 Yarn (资源调度器) Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn 基础框架 Yarn 主要由下面几个组件构成： ResourceM
YARN源码剖析：NM中的进程资源使用计算器
派大星的技术人生
03-26 189
进程资源使用计算器有两种实现：windows和linux下。这里只分析linux下基于/procfs的资源使用计算器。 该类通过统计/proc/目录下的文件内容来统计进程资源使用情况，涉及到的文件列表如下： /proc/[pid]/stat 进程的cpu时间信息 /proc/[pid]/cmdline 进程执行的命令 /proc/[pid]/smaps 进程的mem信息 相关参数： contai...
Yarn申请的内存的精确计算(转载+应用到自己的情况中)
微电子学与固体电子学-俞驰
05-06 694
这篇博客主要是利用[1]中的流程来尝试估算自己在运行spark on yarn模式时申请的内存数值。 一个spark任务会产生几个Container？count = ExecutorNum + 1 也就是说最后申请的Container数量为Executor的数量加上driver即为spark任务在yarn上执行最终需要的Container数量。 spark的配置参考...
云计算学习笔记5——集群资源调度策略
kathyaier的博客
11-03 4343
一、资源调度策略 多用户多作业的环境下，如何将集群资源在它们之间进行分配，需要特定的策略。 FIFO 公平调度器 能力调度器 延迟调度策略 主资源公平调度策略 1. FIFO 最简单的资源调度策略。 提交的作业，按照提交时间先后顺序，或者优先级次序，将其放入线性队列相应位置，先进先出调度和分配资源。 缺点：多用户场景下，新加入的作业容易出现长时间等待调度的现象。 2. 公平调度器 Facebook为Hadoop开发的多用户多作业调度器。 用户的任务分配到多个资源池（pool）。 每个
spark on yarn 集群部署
07-27
1. 首先，确保已经安装和配置好Hadoop和YARN集群。确保YARN ResourceManager和NodeManager正在运行，并且集群配置正确。 2. 下载Spark二进制文件并解压缩到每个节点上。确保在所有节点上使用相同的Spark版本。 3. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值