Hadoop/Yarn/MapReduce内存分配（配置）方案

最新推荐文章于 2024-06-28 10:18:31 发布

又不是

最新推荐文章于 2024-06-28 10:18:31 发布

阅读量257

点赞数

本文链接：https://blog.csdn.net/qq_44919253/article/details/89430701

版权

本文基于horntonworks的建议，提供了一种适用于常见Hadoop集群的内存分配方案。该方案建议在8GB的VM中，预留1-2GB给操作系统，4GB用于Yarn/MapReduce及HIVE，剩余的2-3GB则为HBase预留，以确保在运行HBase时有足够的内存资源。

摘要由CSDN通过智能技术生成

                        
                  以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。 
 
    Configuration File
    Configuration Setting
    Value Calculation
           8G VM (4G For MR)   
   
    yarn-site.xml
    yarn.nodemanager.resource.memory-mb
    = containers * RAM-per-container
    4096
   
    yarn-site.xml
    yarn.scheduler.minimum-allocation-mb
    = RAM-per-container
    1024
   
    yarn-site.xml
    yarn.scheduler.maximum-allocation-mb
    = containers * RAM-per-container
    4096
   
    mapred-site.xml
    mapreduce.map.memory.mb
    = RAM-per-container
    1024
   
    mapred-site.xml        
    mapreduce.reduc

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

又不是

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput报错

qq_42254537的博客

08-03

5225

执行hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput报错报错信息 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml contai

hadoop中每个节点map和reduce个数的设置调优

zcc_0015的专栏

08-09

1085

map red.tasktracker.map.tasks.maximum 这个是一个task tracker中可同时执行的map的最大个数，默认值为2，看《pro hadoop》：it is common to set this value to the effective number of CPUs on the node 把ob分割成map和reduce,合理地选择Job中 Tasks数

参与评论您还未登录，请先登录后发表或查看评论

Hadoop 教程 - Hadoop YARN核心参数配置详解

最新发布

qq_33240556的博客

06-28

563

Hadoop YARN的核心参数配置对于优化集群性能、管理资源分配以及确保作业顺利执行至关重要。

YARN和MapReduce内存分配计算公式

TomAndersen的博客

06-08

2684

前言 hadoop：2.7.7 本文内容均来自：HDP Command Line Installation 2.6.5 中第1.10节 HDP（Hortonworks Data Platform）是最常见的Hadoop的第三方发行版之一，类似的Hadoop发行版还有CDH、MapR等计算YARN和MapReduce的内存需求在Hadoop集群中，YARN管理着集群中的每个节点上的可用资源，并为运行在集群中的应用程序（如MapReduce）提供需要的资源，其中Container是YARN中最小的资源

YARN 和 MapReduce的内存分配公式

linxiao84的专栏

01-12

318

这个章节描述在指定的硬件节点上，如何配置YARN 和 MapReduce的内存分配设置。 YARN 考虑到了集群上每个机器的可用计算资源，在可用的资源上，YARN 负责处理运行在集群中应用（如MapReduce）的资源请求。YARN 通过分配的Containers为每个应用提供计算资源，在YARN中，一个 Container是基本的计算资源(processing capacity)，并且它...

Hadoop-Mapreduce参数调优

qichangjian的博客

02-26

759

23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化

05-29

优化YARN和MapReduce的内存分配时，需要考虑以下几点： - 确保配置的内存大小与实际硬件匹配，避免资源浪费。 - 根据工作负载动态调整资源配置，例如，处理大数据量的任务可能需要更多的内存和CPU。 - 监控集群性能...

hadoop/yarn 命令提交MapReduce 作业(wc.txt)wordcount到Yarn

huonan_123的博客

10-25

2018

使用hadoop jar 或者 yarn jar 提交 wordcount 作业到yarn上

MapReduce 优化参数

xxydzyr的博客

09-16

1617

MapReduce 优化参数文章目录MapReduce 优化参数资源相关参数以下参数是在用户自己的 MapReduce 应用程序中配置就可以生效以下参数应该在 yarn 启动之前就配置在服务器的配置文件中才能生效shuffle 性能优化的关键参数，应在 yarn 启动之前就配置好容错相关参数效率跟稳定性参数资源相关参数以下参数是在用户自己的 MapReduce 应用程序中配置就可以生效 m...

hadoop集群部署，内存，存储配置

风起于青萍之末，折秀于林

09-21

1736

翻译自：http://blog.octo.com/en/hadoop-in-my-it-department-how-to-plan-a-cluster/ 和http://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/ 一推荐配置每100万块

linux集群搭建需要多少内存,Hadoop的内存配置

weixin_30077373的博客

04-30

477

Hadoop的内存配置有两种方法：利用手动安装hadoop的帮助脚本；手动计算yarn和mapreduce内存大小进行配置.此处只记录脚本计算方法:用wget命令从hortonworks上下载脚本python hdp-configuration-utils.py wget http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_man...

详解 YARN的内存和CPU配置

qq_43688472的博客

06-18

5770

一：简单介绍 Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根...

运行mapreduce 物理内存不够问题：

qq_29956925的博客

03-24

1779

sqoop is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.6 GB of 2.1 GB virtual memory used. Killing container 运行一次任务，运行了很长时间，出现了 ***Container is running beyond physical memory limits***的错误。 Container [pid=2784

cloudra中 mapreduce.map.memory.mb 设置诡异（推荐设置问题）

weixin_40809627的博客

12-03

5145

诡异问题生产环境 mr 运行任务 map端和reduce 的运行内存都设置的为0 为作业的每个 Map 任务分配的物理内存量(MiB)。对于早于 CDH 5.5 的版本，如果未指定内存量，则默认设置为 1024。对于 CDH 5.5 及更高版本，不支持小于 128 的值，但如果将其指定为 0，则可以通过 Map 任务的最大堆大小以及堆与容器的大小比值推断要请求的物理内存量。如果未指定 Map ...

Yarn模式下Mapreduce的内存参数理解以及xml参数配置

虎啸千峰的博客

11-20

1679

一、概述 MapReduce主要靠yarn进行资源分配，因此，进行MapReduce作业时，可以通过调节对应的yarn和hive参数优化MapReduce作业。Container是一个逻辑上的yarn资源容器； Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，你可以在RM的网页上【8088端口】看到Container的状态。二、yarn资源管理及设置 Yarn的ResourceM..

Yarn下Mapreduce的内存参数理解&xml参数配置

Configuration File	Configuration Setting	Value Calculation	8G VM (4G For MR)
yarn-site.xml	yarn.nodemanager.resource.memory-mb	= containers * RAM-per-container	4096
yarn-site.xml	yarn.scheduler.minimum-allocation-mb	= RAM-per-container	1024
yarn-site.xml	yarn.scheduler.maximum-allocation-mb	= containers * RAM-per-container	4096
mapred-site.xml	mapreduce.map.memory.mb	= RAM-per-container	1024
mapred-site.xml	mapreduce.reduc