2021-07-16 yarn Total VCores allocated for Containers 与服务器上cpu核数不一致原因

最新推荐文章于 2024-06-14 17:58:22 发布
最新推荐文章于 2024-06-14 17:58:22 发布
阅读量1.2k 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44978754/article/details/118798103
版权
博客讲述了在Hadoop集群中，nodemanager配置的虚拟核心数与实际节点CPU核心数不一致的情况。尽管文档指出当`yarn.nodemanager.resource.detect-hardware-capabilities`设为true时，系统会自动检测硬件资源，但未配置此参数的情况下，默认值为8。经过重启集群，验证了默认配置的生效，使得配置与预期结果相符。
摘要由CSDN通过智能技术生成

        

 hadoop集群中每个nodemanager( 之后统称nm)容器虚拟核数为8

但检查单节点机器cpu个数为1 核数为2

 这是如何分配的？？

查阅yarn-site.xml 官方文档

地址：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

 得知

如果将其设置为-1并且yarn.nodemanager.resource.detect-hardware-capabilities为true，则在Windows和Linux中会根据硬件自动确定。在其他情况下，vCore的数量默认为8

未进行配置yarn.nodemanager.resource.detect-hardware-capabilities 

故采用默认值 

在yarn-site.xml配置为ture

重启hadoop集群 结果与预期相符

 

肥音锅
关注
【Flink 实战系列】Flink on yarn 为什么 Allocated CPU VCores 显示不正确？
JasonLee实时计算
09-03 1041
任务的并行度也是 3，所以只需要一个 TM 即可，那么问题就来了，这个任务一共需要多少个 CPU VCores，很明显答案应该是 4 个，3（TM）+ 1 (JM) = 4 个，这里不要忘了，JM 也是需要一个 CPU 的，那我们再来看下 Yarn UI 上面显示的 CPU VCores 是多少个呢？这个问题被问到了好多次，今天就来详细的解释一下原因。但是在生产环境中可能会遇到一个问题，任务的 CPU 使用率比较低，可能会出现浪费 CPU 资源的情况，比如这个任务的 CPU 使用率。
Spark应用提交后一直不运行：hadoop-yarn ACCEPTED: waiting for AM container to be allocated, launched and registe
甘蓝的专栏
07-25 1184
记录一次Spark应用提交后一直无法运行的问题
优化yarn在任务执行时核数把控不准确的问题
最新发布
别人笑我太疯癫，我笑他人看不穿。
06-14 748
如果你想要让yarn准确的计算使用多少核，那么需要更改所有节点中的capacity-scheduler.xml配置文件 原配置文件中的 yarn.scheduler.capacity.resource-calculator org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator 要修改为 yarn.scheduler.capacity.resource-calculator org.apache.hadoop.yarn.util.reso
yarn 显示 vcores、memory 机制
zhm1002的博客
12-23 3857
以spark 提交 任务为例： yarn作为cluster manager时，spark（以client模式为例）用spark-submit提交应用程序（或者是spark-shell交互操作）不加任何资源参数时，会使用如下几个默认配置来向yarn的resourcemanager申请container资源： spark.executor.memory 1gspark.executor.cores 1spark.executor.instances 2spark.yarn.am...
Yarn内存和CPU调优配置
Java大数据
07-16 1424
Hadoop Yarn同时支持内存和CPU的两种资源的调度。 yarn 作为一个资源调度器，应考虑集群中每一台机器的计算资源，然后根据application申请的资源进行分配Container（Yarn的组件 虚拟的概念 ）,而Container是yarn里面资源分配的基本单位，具有一定的内存以及CPU资源。 在yarn集群中，平衡内存，CPU，磁盘的资源很重要， 每两个container使用一...
yarn 内存与CPU参数设置
鸭梨的博客
02-24 7812
每个job提交到yarn上执行时，都会分配Container容器去运行，而这个容器需要资源才能运行，这个资源就是Cpu和内存。 1、CPU资源调度 目前的CPU被Yarn划分为虚拟CPU，这是yarn自己引入的概念，因为每个服务器的Cpu计算能力不一样，有的机器可能是 其他机器的计算能力的2倍，然后可以通过多配置几个虚拟内存弥补差异。在yarn中，cpu的相关配置如下。 yarn.nodemanager.resource.cpu-vcores 表示该节点服务器上yarn可以使用的虚拟的CPU个数，默认是8
yarn虚拟cpu和虚拟内存
u011250186的博客
04-27 955
目录 虚拟cpu 虚拟内存 正文 回到顶部 虚拟cpu 虚拟的cpu代码并发数，如果一个container拥有2个vcpu，那么该container就可以真正的在同一时间运行两个线程，而不是靠切时间片而达到的逻辑并发。所以一般虚拟的cpu需要和物理cpu的个数保持一致 yarn的计算单元称为YCUs，其实就是把1个cpu分为n份，通常情况控制在1:1000左右，也就是说一个一...
大数据开发系列（五）----yarn 生产环境核心参数配置
Xiaoyeforever的博客
08-20 1369
yarn 生产环境核心参数配置，yarn作为hadoop的资源分配和调度的基础组件，组件基础： 1、ResourceManager相关 yarn.resourcemanager.scheduler.class #配置调度器，apache yarn默认容量调度器，CDH默认公平调度器 yarn.resourcemanager.scheduler.client.thread-count # ResourceManager处理调度器请求的现场数量，默认50 2、NodeManager相关 y...
Spark on yarn使vcores可以使用多个生效（已解决）
lukabruce的博客
07-08 769
yarn 默认情况下，只根据内存调度资源，所以 spark on yarn 运行的时候，即使通过–executor-cores 指定 core 个数为 N，但是在 yarn 的资源管理页面上看到使用的 vcore 个数还是 1
flink on yarn 中的flink-conf.yaml参数
JustinMars的博客
07-19 1574
Flink TaskManager 的堆内存的百分比，小于此比例则 Flink 会在 YARN 上启动一个附加的非堆外存储容器。修改配置后，请确保将修改后的。: 如果 Flink TaskManager 的堆内存小于此值，则 Flink 会在 YARN 上启动一个附加的非堆外存储容器。是 Flink 配置文件，用于配置 Flink 应用程序在 YARN 上的运行。: 指定每个 TaskManager 的内存大小，用于 Flink 操作和状态。文件中的参数，你可以调整 Flink 集群的行为和性能。
yarn集群ui界面详解
lcm_linux的博客
08-18 1万+
1、UI界面详解 我们安装完Yarn后，可以在浏览器中通过http://master:8088来访问Yarn的WEB UI，如下图： 我们详细解释上图中标记为1(也就是cluster)和2(也就是Nodes)两个界面中和资源有关的信息 对上面7个字段信息进行解释： 1.Active Nodes：表示Yarn集群管理的节点的个数，其实就是NodeManager的个数，我们集群有2个NodeManager 从配置中可以看到每一个NodeManager管理的内存大小是1630MB，那么整个Yarn集群管理的内
从Container内存监控限制到CPU使用率限制方案
热门推荐
走在前往架构师的路上
12-13 39万+
前言最近在运维我们部门的hadoop集群时,发现了很多Job OOM的现象,因为在机器上可以用命令进行查看,full gc比较严重.我们都知道,full gc带来的后果是比较大的,会"stop the world"的,一旦你的full gc elapsed time超过几分钟,那么其他的活动都得暂停这么多时间.所以Full gc一旦出现并且异常,一定要找到根源并将其解决.本篇文章就为大家讲述一下我
Yarn 资源调度器详解以及 什么是调度器介绍 遇到任务卡顿 如何处理
yidianyidei的博客
07-31 526
文章目录Yarn 资源调度器Yarn 基本架构* Yarn 工作机制资源调度器FIFO 先进先出调度器容量调度器 **Capacity Scheduler**** Fair Scheduler 公平调度器（灵活）问任务的推测执行1．作业完成时间取决于最慢的任务完成时间2．推测执行机制3．执行推测任务的前提条件4．不能启用推测执行机制情况你在工作中有没有碰到任务卡到过？怎么处理： Yarn 资源调度器 Hadoop 分三个部分组成：HDFS,MapReduce Yarn Yarn是一个资源调度平台，负责为运算
hive on tez hive运行在tez之上 安装测试
duguyiren3476的专栏
05-26 1272
hive on tez详细配置和运行测试 tez hadoop hive hdfs yarn 环境: hadoop-2.5.2 hive-0.14 tez-0.5.3 hive on tez 的方式有两种安装配置方式: 在hadoop中配置 在hive中配置 比较: 第二种方式:当已经有了稳定的hadoop集群,而不想动这个集群时,可以考虑采用第二种方式配置...
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask问题解决
Sin_Geek成长の迹
10-04 5万+
发现这个报错后，就网上查资料喽。目前看下来两种情况比较常见，不排除其他可能。一般排查方式也是查看hive日志,job日志在你的HIVEHOME/conf的hive?log4j.properties下的hive.log.dir={java.io.tmpdir}/user.name所指的目录下,如果日志使用的是默认的配置,则在主机的/tmp/user.name所指的目录下；当然我也是先进了看了这路径下...
tez作业运行慢
zincooo的博客
10-13 442
后面对比了map task的输入文件，这个container接收的明显要多，导致map task长尾，拖慢整个作业的运行时长。但是通过监控查看当时集群仍有很多的可用资源，从后续的日志看，1分多钟后也获取到了正常的资源情况，但此时task数量已经计算完了并提交请求了。发现某个map task的运行时间是其他map task的三倍(这里00是map task、01是reduce task)对比这个作业两天运行的app日志，发现以下情况：分配的container数量，有问题的作业明显要少几十倍。
Yarn中container、mr内存的配置，控制container个数
qq_32445015的博客
02-10 1922
最近项目在用kylin，在搭建开发环境和测试环境后，然后在kylin上建cube，kylin建cube实际就是调用集群的MR跑任务(也可以调用spark作为引擎)，在数据量小或者维度(kylin里面的一个概念)少的时候没问题，后来数据量大或维度多了，就经常出现OOM的问题。
Yarn 内存分配管理机制及相关参数配置
Heaven Wang 的专栏
05-04 4万+
理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/re
How to Plan and Configure YARN and MapReduce 2 in HDP 2.0 如何配置YARN
wjcquking的专栏
01-29 1412
本人主要讲述如何在一个现有的系统下，配置YARN，这样让整个系统的执行效率更高 主要有Reducer的配置数目，每个Reducer可以使用的资源，包括内存和核心 As part of HDP 2.0 Beta, YARN takes the resource management capabilities that were in MapReduce and packa
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值