Hadoop/Yarn/MapReduce内存分配（配置）方案

最新推荐文章于 2023-02-10 11:21:52 发布
最新推荐文章于 2023-02-10 11:21:52 发布
阅读量3.2w 收藏 9
点赞数 9
分类专栏： 大数据专题 文章标签： Hadoop Yarn MapReduce 内存分配
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/bluishglc/article/details/42436321
版权

推荐：博主历时三年倾注大量心血创作的《大数据平台架构与原型实现：数据中台建设实战》一书已由知名IT图书品牌电子工业出版社博文视点出版发行，真诚推荐给每一位读者！点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，扫码进入京东手机购书页面！

 

以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。

 

 

Configuration FileConfiguration SettingValue Calculation       8G VM (4G For MR)   
yarn-site.xmlyarn.nodemanager.resource.memory-mb= containers * RAM-per-container4096
yarn-site.xmlyarn.scheduler.minimum-allocation-mb= RAM-per-container1024
yarn-site.xmlyarn.scheduler.maximum-allocation-mb= containers * RAM-per-container4096
mapred-site.xmlmapreduce.map.memory.mb= RAM-per-container1024
mapred-site.xml        mapreduce.reduce.memory.mb= 2 * RAM-per-container2048
mapred-site.xmlmapreduce.map.java.opts= 0.8 * RAM-per-container819
mapred-site.xmlmapreduce.reduce.java.opts= 0.8 * 2 * RAM-per-container1638
yarn-site.xml (check)yarn.app.mapreduce.am.resource.mb= 2 * RAM-per-container2048
yarn-site.xml (check)yarn.app.mapreduce.am.command-opts= 0.8 * 2 * RAM-per-container1638
tez-site.xml  tez.am.resource.memory.mb  = RAM-per-container1024
tez-site.xml  tez.am.java.opts  = 0.8 * RAM-per-container819
tez-site.xml  hive.tez.container.size  = RAM-per-container1024
tez-site.xml  hive.tez.java.opts  = 0.8 * RAM-per-container819

 

 

 

Laurence　
关注
专栏目录
Hadoop 中的大数据技术：调优篇（1）
qq_45115959的博客
08-15 1199
NameNode内存计算每个文件块大约占用150字节。以一台服务器128GB内存为例，可以存储多少文件块？Hadoop 2.x系列，配置NameNode内存NameNode内存默认为2000MB，如果服务器内存为4GB，NameNode内存可以配置为3GB。在Hadoop 3.x系列，配置NameNode内存hadoop-env.sh中描述Hadoop的内存是动态分配的查看NameNode占用内存查看DataNode占用内存。
hadoop中每个节点map和reduce个数的设置调优
zcc_0015的专栏
08-09 1086
map red.tasktracker.map.tasks.maximum 这个是一个task tracker中可同时执行的map的最大个数，默认值为2，看《pro hadoop》：it is common to set this value to the effective number of CPUs on the node 把ob分割成map和reduce,合理地选择Job中 Tasks数
YARN和MapReduce内存分配计算公式
TomAndersen的博客
06-08 2687
前言 hadoop：2.7.7 本文内容均来自：HDP Command Line Installation 2.6.5 中第1.10节 HDP（Hortonworks Data Platform）是最常见的Hadoop的第三方发行版之一，类似的Hadoop发行版还有CDH、MapR等 计算YARN和MapReduce的内存需求 在Hadoop集群中，YARN管理着集群中的每个节点上的可用资源，并为运行在集群中的应用程序（如MapReduce）提供需要的资源，其中Container是YARN中最小的资源
YARN 和 MapReduce的内存分配公式
linxiao84的专栏
01-12 321
这个章节描述在指定的硬件节点上，如何配置YARN 和 MapReduce的内存分配设置。 YARN 考虑到了集群上每个机器的可用计算资源，在可用的资源上，YARN 负责处理运行在集群中应用（如MapReduce）的资源请求。YARN 通过分配的Containers为每个应用提供计算资源，在YARN中，一个 Container是基本的计算资源(processing capacity)，并且它...
Hadoop-Mapreduce参数调优
qichangjian的博客
02-26 760
1. 相关的资源参数 mapreduce.map.memory.mb： 一个maptask可以使用的资源上限，默认是1G，如果超过设置的值，会被强制杀死 mapreduce.reduce.memory.mb：一个 Reduce Task 可使用的资源上限默认是1G，如果超过设置的值，会被强制杀死 mapreduce.map.cpu.vcores：每个maptask最多的CPU core 默认是1个...
hadoop---MR(mapreduce)--内存设置
11-23 1752
非java程序(c++、shell程序)在MR内存设置上，和java程序有很大差异，如果按照java程序的方式设置，很容易采坑，具体如下： MR中各个内存情况 因为在yarn container这种模式下，map/reduce task是运行在Container之中的，所以上面提到的mapreduce.map(reduce).memory.mb大小都大于mapreduce.map(reduce).java.opts值的大小。mapreduce.{map|reduce}.java.opts能够通过Xm
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化
最新发布
05-29
优化YARN和MapReduce的内存分配时，需要考虑以下几点： - 确保配置的内存大小与实际硬件匹配，避免资源浪费。 - 根据工作负载动态调整资源配置，例如，处理大数据量的任务可能需要更多的内存和CPU。 - 监控集群性能...
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput报错
qq_42254537的博客
08-03 5247
执行hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput报错 报错信息 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml contai
hadoop/yarn 命令提交MapReduce 作业(wc.txt)wordcount到Yarn
huonan_123的博客
10-25 2026
使用hadoop jar 或者 yarn jar 提交 wordcount 作业到yarn上
hadoop yarn的内存和cpu参数配置
panhongan的专栏
01-06 1411
【导读】 还在整理中
Yarn中container、mr内存的配置，控制container个数
qq_32445015的博客
02-10 1932
最近项目在用kylin，在搭建开发环境和测试环境后，然后在kylin上建cube，kylin建cube实际就是调用集群的MR跑任务(也可以调用spark作为引擎)，在数据量小或者维度(kylin里面的一个概念)少的时候没问题，后来数据量大或维度多了，就经常出现OOM的问题。
## YARN运行资源配置
chenjunshi123的博客
01-12 4928
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
linux集群搭建需要多少内存,Hadoop的内存配置
weixin_30077373的博客
04-30 479
Hadoop的内存配置有两种方法：利用手动安装hadoop的帮助脚本；手动计算yarn和mapreduce内存大小进行配置.此处只记录脚本计算方法:用wget命令从hortonworks上下载脚本python hdp-configuration-utils.py wget http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_man...
hadoop集群部署，内存，存储配置
风起于青萍之末，折秀于林
09-21 1742
翻译自：http://blog.octo.com/en/hadoop-in-my-it-department-how-to-plan-a-cluster/ 和http://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/ 一 推荐配置 每100万块
Hadoop2.7.7 API: mapred-site.xml 解析
张伯毅的专栏
08-13 3050
name 描述 value 备注 mapreduce.jobtracker.jobhistory.location 如果作业跟踪器是静态的，则历史文件存储在这个众所周知的地方。如果此处未设置任何值，则默认情况下，它位于$ {hadoop.log.dir} / history的本地文件系统中。 　 　 mapreduce.jobtracker.jobhis...
详解 YARN的内存和CPU配置
qq_43688472的博客
06-18 5774
一：简单介绍 Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。 在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根...
Hadoop YARN中MapReduce内存与CPU调度优化策略详解
5. `yarn.app.mapreduce.am.command-opts`：AM命令选项，可能影响内存分配。 6. `mapreduce.map.memory.mb`：Mapper任务的内存限制。 7. `mapreduce.reduce.memory.mb`：Reducer任务的内存限制。 8. `mapreduce.map....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值