yarn内存配置指南

最新推荐文章于 2022-10-24 22:51:43 发布
VIP文章 最新推荐文章于 2022-10-24 22:51:43 发布
阅读量4.9k 收藏 1
点赞数 1
分类专栏： Hadoop Hadoop私房菜
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangfei001/article/details/37766747
版权

yarn中需要很多内存配置，本文只给一些推荐和建议，实际还根据具体业务逻辑来定

首先，需要明确，yarn中，整个集群的资源需要内存、硬盘、CPU（CPU核数）三者来决定，必须要实现三者的均衡，在实际生产环境中，硬盘都是足够大的，所以很少考虑硬盘，这里暂时也把硬盘作为一个要素作为参考项。

在计算节点可用内存的时候，需要考虑操作系统系统的内存需求、NM的内存需求以及该节点其他系统的内存需求（比如Hbase，下面均以Hbase为例)，

因此yarn可用内存=系统总内存-为操作系统保留内存-为Hbase保留内存

操作系统和Hbase内存参考值如下

<
节点总内存 操作系统预留的内存 Hbase预留的内存
4 GB 1 GB 1 GB
8 GB 2 GB 1 GB
16 GB 2 GB 2 GB
24 GB 4 GB 4 GB
48 GB 6 GB 8 GB
64 GB 8 GB 8 GB
72 GB 8 GB 8 GB
96 GB 12 GB 16 GB
128 GB 24 GB
最低0.47元/天 解锁文章
yangfeiblog
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
yarn内存和CPU配置
03-19
Yarn的内存和CPU配置宝典 ，帮助你理解并解决配置问题，优化配置
浅谈YARN中Container容器（内存、CPU分配）
青青青的博客
06-08 1万+
    前言：hadoop2.x版本和hadoop1.x版本的一个区别就是：hadoop1.x中负责资源和作业调度的是MapReduce，hadoop2.x版本后，MapReduce只专注于计算，资源和作业的调度由YARN来负责。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。我们的应用在工作的时候，需要消耗内存和CPU，故当YARN收到application申请...
yarn 内存与CPU参数设置
鸭梨的博客
02-24 7134
每个job提交到yarn上执行时，都会分配Container容器去运行，而这个容器需要资源才能运行，这个资源就是Cpu和内存。 1、CPU资源调度 目前的CPU被Yarn划分为虚拟CPU，这是yarn自己引入的概念，因为每个服务器的Cpu计算能力不一样，有的机器可能是 其他机器的计算能力的2倍，然后可以通过多配置几个虚拟内存弥补差异。在yarn中，cpu的相关配置如下。 yarn.nodemanager.resource.cpu-vcores 表示该节点服务器上yarn可以使用的虚拟的CPU个数，默认是8
Yarn 的组成及其工作流程
weixin_33989780的博客
06-16 374
在 Hadoop1 中 MapReduce 框架即负责集群的资源调度，还负责 MapReduce 程序的运行。由于这种架构资源调度和计算高度耦合，导致了一个 Hadoop 集群中只能跑 MapReduce 计算任务，无法跑其它的计算任务，维护成本很高。 在后面的 Hadoop2 中改成了 Yarn + MapReduce 架构，将资源的调度工作交给了 Yarn，MapReduce 只负责计算。这样...
yarn-ats
warrah 南极狼
02-03 2876
进入到zookeeper查看是否有/atsv2-hbase-secure/meta-region-server文件 su - zookeeper kinit -kt /etc/security/keytabs/zk.service.keytab zookeeper/[email protected] sh /usr/hdp/3.1.0.0-78/zookeeper/bin/zkCli.sh -server bg6.whty.com.cn:2181 查看zookeeper的目录结构，可以
## YARN运行资源配置
chenjunshi123的博客
01-12 4667
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Yarn参数配置Container优化
weixin_44059731的博客
12-17 2026
container: 内存 和 cpu的虚拟概念 memory:8192, vCores:8 资源例如120G，20%预留给系统 内存: yarn.nodemanager.resource.memory-mb 96G (CDH配置注意这个参数是在编辑每一台参数96/6=16G） yarn.scheduler.minimum-allocation-mb 1G 极限情况下 96个container yarn.scheduler.maximum-allocation-mb 96G 极限情况下 1个con
YARN内存配置计算脚本
07-14
一个计算yarn内存配置的python脚本yarn-util.py，该脚本有四个参数 参数 描述 -c CORES 每个节点CPU核数 -m MEMORY 每个节点内存总数（单位G） -d DISKS 每个节点的硬盘个数 -k HBASE 如果安装了Hbase则为True，...
Yarn 内存分配管理机制及相关参数配置.
05-17
关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/reduce ...
Spark&Yarn手动安装指南
02-16
Spark&Yarn手动安装指南
HadoopHA高可用集群配置 yarn-site.xml slave
07-11
HadoopHA高可用集群配置 yarn-site.xml slave
HadoopYARN权威指南
06-04
详细介绍Hadoop Yarn的架构以及如何构建Hadoop Yarn。详解介绍如何进行资源调优。
ambai中tez任务占用yarn内存过多
AnameJL的博客
10-24 1941
计算资源调优
Hadoop YARN如何调度内存和CPU
mllhxn的专栏
07-12 903
转： http://www.searchbi.com.cn/showcontent_78166.htm在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）
yarn 关于资源参数设置
热门推荐
mllhxn的专栏
07-09 2万+
yarn-site.xml   yarn.scheduler.minimum-allocation-mb  yarn.scheduler.maximum-allocation-mb 说明：单个容器可申请的最小与最大内存，应用在运行申请内存时不能超过最大值，小于最小值则分配最小值，从这个角度看，最小值有点想操作系统中的页。最小值还有另外一种用途，计算一个节点的最大container数目注：这
Yarn 调优 （内存、CPU）
weixin_44591209的博客
03-18 1217
在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的。根据经验，每两个container使用一块磁盘以及一个CPU核的时候可以使集群的资源得到一个比较好的利用。 内存配置 YARN所有可用的内存资源应该要减去系统预留内存、各个进程内存的经验值。 即：总共保留的内存=系统内存+各个进程内存的经验值。 Hbase 、系统需要的内存（一般留总内存的20%左右）参考： 每台...
YARN和MapReduce的内存设置参考
数据之路
03-21 8920
如何确定Yarn中容器Container，Mapreduce相关参数的内存设置，对于初始集群，由于不知道集群的类型(如CPU密集、IO密集还是网络密集)我们需要根据经验提供给我们一个参考配置值，来作为基础的配置。完成这一任务有两种方式，确定YARN和MapReduce的内存设置，我们可以使用HDP工具脚本进行内存配置设定运行hdp-configuration-utils.py 这个Python脚本
yarn平台的内存分配和设置
galaxy__fish的博客
08-10 1738
写这个博客主要是本人在hive中使用mapreduce报出以下错误Diagnostic Messages for this Task: Container[pid=1701,containerID=container_1502327755307_0001_01_000005] is running beyond virtual memory limits. Current usage: 1
YARN内存使用优化配置
宁静致远 厚积薄发
12-09 789
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每
yarn 如何设置AppMaster 内存
最新发布
05-25
在 YARN 中，可以通过以下两种方式设置 AppMaster 的内存： 1. 通过在提交应用程序时使用命令行参数来设置内存大小： ``` yarn jar <your-app-jar> <your-app-class> -Xmx<your-memory-size> ``` 其中，`-Xmx` 参数用于设置 AppMaster 的最大堆大小。 2. 通过在 `yarn-site.xml` 配置文件中设置 `yarn.app.mapreduce.am.resource.mb` 属性来设置内存大小。该属性表示 AppMaster 的最大内存限制，以 MB 为单位。例如，设置为 2048 表示 AppMaster 的最大内存限制为 2GB。 ``` <property> <name>yarn.app.mapreduce.am.resource.mb</name> <value>2048</value> </property> ``` 注意，这种方式设置的内存大小会影响所有提交的应用程序的 AppMaster 内存大小。因此，如果需要针对某个特定的应用程序设置不同的内存大小，应该使用第一种方式进行设置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值