yarn中container、mr内存的配置，控制container个数

最新推荐文章于 2023-07-23 08:40:18 发布
最新推荐文章于 2023-07-23 08:40:18 发布
阅读量1.6w 收藏 30
点赞数 8
分类专栏： yarn 文章标签： yarn container个数 mr内存配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kyle0349/article/details/82084980
版权

  最近项目在用kylin，在搭建开发环境和测试环境后，然后在kylin上建cube，kylin建cube实际就是调用集群的MR跑任务(也可以调用spark作为引擎)，在数据量小或者维度(kylin里面的一个概念)少的时候没问题，后来数据量大或维度多了，就经常出现OOM的问题。
  其实一开始就知道是并行度过高的问题，也尝试过在kylin里面调试，但并没有用。后来通过jps查看yarnchild个数，再到了解containers概念，再到nodemanager资源配置，最后终于知道问题点就在控制containers个数，然后就开始研究到这几个配置项了，这几个配置项影响着每个计算节点上container的个数(Vcore也会影响，本文先不说，就先当vcore是充足的)，毕竟这段时间看日志报的都是OOM。

一、nodemanager/ratio

 yarn.nodemanager.resource.memory-mb

  • 集群中某个计算节点分配给nodemanager的最大可用内存，这个最大可用内存不是该节点最大内存，而是该节点最大内存划分出来的给nodemanager使用的内存，
  • 该配置项在集群启动后，无法动态改变。
  • 比如一个节点最大内存为128G，计划给nodemanager80%的内存资源，则设置yarn.nodemanager.resource.memory-mb为103G，其余25G用作该节点其他资源调配ÿ
最低0.47元/天 解锁文章
浅谈YARN中Container容器（内存、CPU分配）
青青青的博客
06-08 1万+
    前言：hadoop2.x版本和hadoop1.x版本的一个区别就是：hadoop1.x中负责资源和作业调度的是MapReduce，hadoop2.x版本后，MapReduce只专注于计算，资源和作业的调度由YARN来负责。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。我们的应用在工作的时候，需要消耗内存和CPU，故当YARN收到application申请...
yarn中mr参数配置
longlovefilm的博客
05-16 914
一、nodemanager/ratio  yarn.nodemanager.resource.memory-mb 集群中某个计算节点分配给nodemanager的最大可用内存，这个最大可用内存不是该节点最大内存，而是该节点最大内存划分出来的给nodemanager使用的内存， 该配置项在集群启动后，无法动态改变。 比如一个节点最大内存为128G，计划给nodemanager80%的内存资源，则设置yarn.nodemanager.resource.memory-mb为103G，其余25G用作该节点其他资源调
Yarn中container、mr内存的配置，控制container个数
qq_32445015的博客
02-10 2143
最近项目在用kylin，在搭建开发环境和测试环境后，然后在kylin上建cube，kylin建cube实际就是调用集群的MR跑任务(也可以调用spark作为引擎)，在数据量小或者维度(kylin里面的一个概念)少的时候没问题，后来数据量大或维度多了，就经常出现OOM的问题。
Hadoop - container on yarn
创作都市模板
07-13 340
Hadoop - container on yarn hadoop 2.x版本的mapreduce任务都提交到yarn框架执行 container 定义：将一定的内存和CPU,如4G内存，1个vcore抽象成一个container 任务都是运行在container里 vcore：虚拟核数，一般是机器实际core的2倍 yarn参数配置细节 假定机器配置为64G,16core linu...
MR内存cpu资源配置
weixin_30267785的博客
02-27 628
向MR申请的内存默认是1024，但不想用默认的内存分配，如何配置？ 内存分配配置 在mapred-site.xml中增加如下配置： <property> <name>yarn.app.mapreduce.am.resource.mb</name> <value>1200</value> <...
探究与解决YARN Container分配过于集中的问题
06-28 1239
最近生产上经常资源充足yarn还会将spark的executor集中分配到个别的nodemanager的问题，在网上找到了一篇有理有据的文章，推荐一下。 https://blog.csdn.net/nazeniwaresakini/article/details/105137788 答案放最前面 将YARN配置中的yarn.scheduler.fair.assignmultiple参数设为false，或者手动设定yarn.scheduler.fair.max.assign参数的值为一个较小的正数（如3
YARN(含MR2)常用配置
ArYe
05-06 885
YARN架构图 YARN工作机制 调度器 资源调度器的类 最大优先级 处理调度器请求的线程数量 NodeManager 单节点NN可分配的物理内存 单节点NN可分配的虚拟核心数 单节点预留给非YARN进程的物理内存总量 每个容器可分配的最小内存 每个容器可分配的最大内存 每个容器可分配的最少虚拟核数 每个容器可分配的最多虚拟核数 自动检测节点资源 虚拟核数和物理核数的转换乘数 MapReduce 每个Map任务的虚拟核心数 每个Map任务的内存 每个Reduce任务的虚拟核心数 每个Reduce任务的内存.
开启 Kerberos 安全的大数据环境中，Yarn Container 启动失败导致作业失败
明哥的IT随笔
09-16 2007
大数据问题排查系列 - 开启 Kerberos 安全的大数据环境中，Yarn Container 启动失败导致 spark/hive 作业失败 前言 大家好，我是明哥！ 最近在若干个不同客户现场，都遇到了 大数据集群中开启 Kerberos 后，spark/hive 作业提交到YARN 后，因 YARN Container 启动失败作业无法执行的情况，在此总结下背后的知识点，跟大家分享下，希望大家有所收获。 1 问题1问题现象 某客户现场，大数据集群中开启了 kerberos 安全认证，提交 hive on
YARN提交MR程序流程以及MR调优
qq_22796957的博客
07-10 2164
YARN提交MR程序流程 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如图4-23所示。 图4-23 Yarn基本架构 Yarn工作机制 1．Yarn运行机制，如图4-24所示。 图4-24 Yarn工作机制 2．工作机制详解 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application...
解决YARN Container分配过于集中的问题
你的世界是你创造的结果
04-08 1053
问题引入 明明自己集群资源充足，YARN还是会将Spark的executor集中分派到个别的NodeManager？ 解决方案 将YARN配置中的yarn.scheduler.fair.assignmultiple参数设为false； 或者手动设定yarn.scheduler.fair.max.assign参数的值为一个较小的正数（如3或4）。 方案说明 如果assignMultiple（对应...
Q3# ZK集群内存过高风险评估
gaoliang1719的专栏
10-11 371
引言该方案在国庆期间未被执行，在节后集群顺利完成升级，记录下来留个纪念。一、背景在集群升级发生了Leader选举和切换，当前时期集群处于不稳定，客户端连接的节点有倾斜。有两个节点x.x.x...
一次MR作业Task数过多导致的集群阻塞的问题排查
JacksonKing的专栏
05-11 1083
一次MR作业Task数过多导致的集群阻塞的问题排查 问题背景 集群出现一百多个任务排队，运行中的任务一百多个，bi的同事反馈大量任务延迟一万多秒 以下截图不全 排查问题 通过RM页面、spacex的监控、active的RM机器的负载和日志观察，确认ResourceManager目前状态正常 通过spacex的app监控发现集群在早上8.45的时候提交大量的任务 阻塞的任务基本都跑在root.bi_queue.bi_base 这个队列中，这个队列资源基本满了 大概排查方向确认 增加了大量任务导致集群资
大规模场景下 kubernetes 集群的性能优化
会哭的雨@的博客
03-31 2441
一、etcd 优化 1、etcd 采用本地 ssd 盘作为后端存储存储 2、etcd 独立部署在非 k8s node 上 3、etcd 快照(snap)与预写式日志(wal)分盘存储 etcd 详细的优化操作可以参考上篇文章：etcd 性能测试与调优。 二、apiserver 的优化 1、参数调整 --max-mutating-requests-inflight：在给定时间内的最大 mutating 请求数，调整 apiserver 的流控 qos，可以调整至 30.
CDH集群之YARN性能调优
延宝小白马的博客
03-27 797
本文主要讨论CDH集群的YARN调优配置，关于YARN的调优配置，主要关注CPU和内存的调优，其中CPU是指物理CPU个数乘以CPU核数，即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的，task在container内部执行。 集群配置 集群的配置主要包括三步，第一是先规划集群的工作主机以及每台主机的配置，第二是规划每台主机的安装的组件及其资源分配，第三是规划集群的规模大小。 工作主机的配置 如下表所示：主机的内存为256G，4个6核CPU，CPU支持超
处理docker占用空间大的问题
Jeff的专栏
03-09 5831
1、处理docker容器日志过大导致的占用磁盘控件的问题 docker容器日志存在位置：/var/lib/docker/containers/container_id，日志文件名称格式为：container_id-json.log 查询docker所有容器日志大小的shell脚本如下： 第一步 vi docker_log_detail.sh 第二步 #!/bin/sh echo "======== docker containers logs file details ========"
构架Hadoop集群
小黑
05-14 1158
Hadoop的安装包可以从以下渠道获取： Apache tarballs：Hadoop官网提供的tar包，包括二进制和源码文件，使用这种方式部署Hadoop集群灵活性比较高，但是要自己进行很多额外的操作 Packages：Hadoop也提供RPM和Debian包，先对比tar包，rpm可以简化部署时候的配置路径等繁琐的操作，并且和Hadoop生态圈中的各个组件版本都兼容对应
YARN配置和管理的故障恢复
互联网知识分享
07-23 482
可以通过修改该参数值为org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore，将状态存储在文件系统中，以提供持久性和故障恢复能力。- 当该参数设置为false时，故障恢复过程中会丢失已完成应用程序的工作信息，可能导致无法重新启动已完成的任务。YARN会维护一个任务的执行状态，并在出现故障时尽可能地恢复任务的执行。当主节点出现故障时，一个从节点会被选举为新的主节点，以确保集群的正常运行。
Yarn 内存分配管理机制及相关参数配置
热门推荐
Heaven Wang 的专栏
05-04 4万+
理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/re
mr on yarn 工作原理
最新发布
04-04
MR on YARN（MapReduce on Yet Another Resource Negotiator）是一种在Hadoop生态系统中运行MapReduce作业的方式。它的工作原理如下： 1. 提交作业：用户通过客户端向YARN资源管理器（ResourceManager）提交MapReduce作业。作业包括MapReduce程序的代码和配置信息。 2. 资源分配：ResourceManager接收到作业后，将其分解为多个任务（Task），包括Map任务和Reduce任务。然后，ResourceManager根据集群中可用的资源情况，将这些任务分配给不同的节点（NodeManager）执行。 3. 任务执行：每个节点上的NodeManager接收到任务后，会启动一个容器（Container）来执行该任务。容器是一个隔离的执行环境，其中包含了任务所需的资源和环境。 4. Map阶段：在Map阶段，每个Map任务会读取输入数据，并将其划分为多个键值对。然后，Map任务会将这些键值对按照指定的逻辑进行处理，并生成中间结果。 5. Shuffle阶段：在Shuffle阶段，Map任务的中间结果会被分区、排序和分组，以便传输给Reduce任务进行处理。这个过程涉及到数据的排序和网络传输。 6. Reduce阶段：在Reduce阶段，每个Reduce任务会接收到一组经过Shuffle阶段处理的中间结果。Reduce任务会对这些结果进行合并、计算和输出，生成最终的结果。 7. 完成作业：当所有的Map任务和Reduce任务都完成后，作业会被标记为完成，并将最终的结果输出到指定的位置。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值