map.java.opts_Apache Hadoop YARN中'mapreduce.map.memory.mb'和'mapred.map.child.java.opts'之间的关系是什么？...

Chris..

55

以下属性允许您指定要传递给运行任务的JVM的选项.这些可用于-Xmx控制堆可用.

Hadoop 0.x, 1.x (deprecated) Hadoop 2.x

------------------------------- --------------------------

mapred.child.java.opts

mapred.map.child.java.opts mapreduce.map.java.opts

mapred.reduce.child.java.opts mapreduce.reduce.java.opts

注意,第一个没有直接的Hadoop 2等价物; 源代码中的建议是使用另外两个.mapred.child.java.opts仍然受支持(但如果存在,则被其他两个更具体的设置覆盖).

除此之外,以下内容允许您限制可用于任务的总内存(可能是虚拟) - 包括堆,堆栈和类定义:

Hadoop 0.x, 1.x (deprecated) Hadoop 2.x

------------------------------- --------------------------

mapred.job.map.memory.mb mapreduce.map.memory.mb

mapred.job.reduce.memory.mb mapreduce.reduce.memory.mb

我建议设置-Xmx为75%的memory.mb值.

在YARN群集中,作业不能使用比服务器端配置更多的内存,yarn.scheduler.maximum-allocation-mb否则它们将被终止.

要检查默认值,这些优先级,见JobConf并MRJobConfig在Hadoop的源代码.

故障排除

请记住,mapred-site.xml可能会为这些设置提供默认值.这可能会让人感到困惑 - 例如,如果您的作业以mapred.child.java.opts编程方式设置,那么如果mapred-site.xml设置mapreduce.map.java.opts或,则无效mapreduce.reduce.java.opts.您需要在作业中设置这些属性,以覆盖mapred-site.xml.检查作业的配置页面(搜索"xmx")以查看已应用的值以及它们的来源.

ApplicationMaster内存

在YARN群集中,您可以使用以下两个属性来控制ApplicationMaster可用的内存量(保存输入拆分的详细信息,任务状态等):

Hadoop 0.x, 1.x Hadoop 2.x

------------------------------- --------------------------

yarn.app.mapreduce.am.command-opts

yarn.app.mapreduce.am.resource.mb

同样,您可以将-Xmx(在前者中)设置为resource.mb值的75%.

其他配置

还有许多与内存限制相关的配置,其中一些已被弃用 - 请参阅JobConf课程.一个有用的:

Hadoop 0.x, 1.x (deprecated) Hadoop 2.x

------------------------------- --------------------------

mapred.job.reduce.total.mem.bytes mapreduce.reduce.memory.totalbytes

将其设置为较低的值(10),以便在您遇到OutOfMemoryErrorat时强制在磁盘上发生shuffle MapOutputCopier.shuffleInMemory.