关于yarn.nodemanager.vmem-pmem-ratio的通俗解释

已于 2022-07-10 11:40:05 修改
阅读量341 收藏
点赞数
分类专栏： hadoop 文章标签： spark 大数据 分布式
于 2022-07-10 11:25:55 首次发布
原文链接：https://blog.csdn.net/appleyuchi/article/details/105883388
版权
虚拟内存是早期为节省昂贵内存而从硬盘模拟的内存空间。在Spark中，YARN配置的ratio参数用于设定当虚拟内存在物理内存不足时的使用阈值。若超过该阈值，系统会认为性能下降并抛出错误提示。了解此参数有助于优化集群性能。
摘要由CSDN通过智能技术生成

这个东西就是虚拟内存，
扯皮起来的话，要回到上古时代x86系统，
那个年代内存超级贵，于是从硬盘借用空间，模拟出一个内存空间，所以称为虚拟内存。

那么这里的ratio是啥意思呢？
因为虚拟内存的性能比真实性能差一些，所以spark的yarn-site.xml中有这个的变量的意思是:
在物理内存不够用的情况下，如果占用了大量虚拟内存并且超过了一定阈值，那么就认为当前集群的性能比较差，直接让你的终端报个错提醒你。

spark中的虚拟内存和操作系统中的虚拟内存是不是一个东西？
答案:是的[1]

Reference:

[1]YARN 内存参数终极详解
 

javastart
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据开发系列（五）----yarn 生产环境核心参数配置
Xiaoyeforever的博客
08-20 1364
yarn 生产环境核心参数配置，yarn作为hadoop的资源分配和调度的基础组件，组件基础： 1、ResourceManager相关 yarn.resourcemanager.scheduler.class #配置调度器，apache yarn默认容量调度器，CDH默认公平调度器 yarn.resourcemanager.scheduler.client.thread-count # ResourceManager处理调度器请求的现场数量，默认50 2、NodeManager相关 y...
Yarn 3.x版本容器内存控制功能失效排查
weixin_42473019的博客
11-28 2万+
问题背景 Yarn集群中一部分节点的内存被打爆，排查发现作业使用内存超出了NodeManager的最大内存限制 找出故障时间点运行的作业，发现作业内存设置不合理，用户只设置了 mapreduce.map.java.opts=-Xmx40240m; mapreduce.reduce.java.opts=-Xmx80240m; 而没有设置 mapreduce.map.memory.mb（默认为1536） mapreduce.reduce.memory.mb（默认为3072） mapreduce.map.me
YARN之架构设计以及生产调优参数配置以及调度器
liweihope的博客
03-02 1191
本节分为三部分： 1.YARN架构设计 2.YARN生产上资源管理--生产调优参数配置 3.YARN生产上调度器 YARN :Yet Another Resource Negotiator 1.YARN架构设计 （和上一篇的MapReduce其实是一样，在这里再过一遍） （当面试的时候，问到MapReduce job执行流程、MapReduceon yarn架构、...
我的Bug日常：spark基于yarn运行时抛错，内存不足Required executor memory (1024 MB), offHeap memory (0) MB。问题已解决，亲测有用~~~
weixin_45437533的博客
04-25 2464
Exception in thread "main" java.lang.IllegalArgumentException: Required executor memory (1024 MB), offHeap memory (0) MB, overhead (384 MB), and PySpark memory (0 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of 'yarn.sc
Yarn 的虚拟内存是什么意思
h952520296的博客
02-04 1377
Hadoop YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。 目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。 内存资.
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
ztx22555的博客
12-25 1298
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
YARN 内存参数终极详解
美伊小公主的超级奶爸的专栏
03-02 1万+
很多朋友在刚开始搭建和使用 YARN 集群的时候，很容易就被纷繁复杂的配置参数搞晕了：参数名称相近、新老命名掺杂、文档说明模糊 。特别是那几个关于内存的配置参数，即使看好几遍文档也不能完全弄懂含义不说，配置时一不小心就会张冠李戴，犯错误。 如果你同样遇到了上面的问题，没有关系，在这篇文章中，我就为大家梳理一下 YARN 的几个不易理解的内存配置参数，并结合源码阐述它们的作用和原理
YARN架构解析
purisuit_knowledge的专栏
07-26 600
转载：https://blog.csdn.net/xuejingfu1/article/details/52801140 MapReduce在YARN上被执行。以下内容涉及的task均是指map tasks或者reduce tasks. YARN的基本思想：是将资源管理和作业的调度/监控相分离，使它们运行在不同的守护进程中。 该思想是为了达到：有一个全局的ResourceManager以及每...
Yarn 生产环境核心配置参数
m0_67401153的博客
05-15 403
文章目录 Yarn 生产环境核心配置参数 ResourceManager NodeManager Container Yarn 生产环境核心配置参数 ResourceManager 配置调度器 yarn.resourcemanager.scheduler.class 默认是容量调度器 ResourceManager处理调度器请求的线程数量 ResourceManager处理client请求的线程数量 yarn.resourcemanager.scheduler.client.thread-co
Hadoop Yarn配置参数整理（非常全面）
guanyi的博客
09-14 4441
RM与NM相关参数 ResourceManager 参数名称 作用 默认值 yarn.resourcemanager.address ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。 ${yarn.resourcemanager.hostname}:8032 yarn.resourcemanager.scheduler.address ResourceManager 对ApplicationMaster暴露的访
cdh6.2 yarn参数优化小记录(记录中)
永青技术博客
01-24 1339
一、闲扯 最近离线行车日志数仓，项目即将基于Lambda架构形式，实时基于flink框架，离线批处理基于 HiveOnSpark。中期基于这个机构。最后版本定位FlinkSQL 批流一体化。 测试环境基于阿里云搭建的CDH。目前准备跑一下测试的flin实时作业和spark作业。内存有限，所以做了相关调整。略记录一下 二、正题 1、yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够.
Yarn生产环境核心参数及案例实操
mengxianglong123的博客
08-11 459
一、Yarn生产环境核心参数 二、Yarn生产环境核心参数配置案例 1）需求： 从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4 3 3） 3）修改yarn-site.xml配置参数如下： <!-- 选择调度器，默认容量 --> <property> <descriptio
Yarn 内存分配管理机制及相关参数配置
热门推荐
Heaven Wang 的专栏
05-04 4万+
理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/re
Hadoop学习之YARN（YARN配置参数）心得
ljs_0的博客
03-15 2177
YARN配置参数
yarn 内存和cpu参数
chanyue123的博客
03-08 709
1. 内存相关参数 参数 说明 默认值 yarn.nodemanager.resource.memory-mb 该nm能够分配的内存量 -1 yarn.nodemanager.vmem-pmem-ratio 虚拟内存率，Container 的虚拟内存大小的限制，每使用1MB物理内存，最多可用的虚拟内存数 2.1
详解 YARN的内存和CPU配置
qq_43688472的博客
06-18 5737
一：简单介绍 Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。 在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根...
yarn container内存调优——防止container被kill
a11123939的专栏
01-25 1万+
今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Java heap space的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右
解决 Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.
最新发布
05-31
To solve the issue of checking the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb' in a YARN cluster, you can follow these steps: 1. Open a terminal and SSH into the node where the YARN ResourceManager is running. 2. Run the following command to check the value of 'yarn.scheduler.maximum-allocation-mb': ``` yarn getconf -confKey yarn.scheduler.maximum-allocation-mb ``` This command will display the current value of 'yarn.scheduler.maximum-allocation-mb' in the YARN cluster. 3. Run the following command to check the value of 'yarn.nodemanager.resource.memory-mb': ``` yarn getconf -confKey yarn.nodemanager.resource.memory-mb ``` This command will display the current value of 'yarn.nodemanager.resource.memory-mb' in the YARN cluster. 4. If the values are not set to the desired values, you can set them using the following commands: ``` yarn config -set yarn.scheduler.maximum-allocation-mb <value> yarn config -set yarn.nodemanager.resource.memory-mb <value> ``` Replace <value> with the desired value in megabytes (MB). 5. Restart the YARN ResourceManager and NodeManagers for the changes to take effect. After following these steps, you should be able to check and set the values of 'yarn.scheduler.maximum-allocation-mb' and 'yarn.nodemanager.resource.memory-mb' in your YARN cluster.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值