Chris..
55
以下属性允许您指定要传递给运行任务的JVM的选项.这些可用于-Xmx控制堆可用.
Hadoop 0.x, 1.x (deprecated) Hadoop 2.x
------------------------------- --------------------------
mapred.child.java.opts
mapred.map.child.java.opts mapreduce.map.java.opts
mapred.reduce.child.java.opts mapreduce.reduce.java.opts
注意,第一个没有直接的Hadoop 2等价物; 源代码中的建议是使用另外两个.mapred.child.java.opts仍然受支持(但如果存在,则被其他两个更具体的设置覆盖).
除此之外,以下内容允许您限制可用于任务的总内存(可能是虚拟) - 包括堆,堆栈和类定义:
Hadoop 0.x, 1.x (deprecated) Hadoop 2.x
------------------------------- --------------------------
mapred.job.map.memory.mb mapreduce.map.memory.mb
mapred.job.reduce.memory.mb mapreduce.reduce.memory.mb
我建议设置-Xmx为75%的memory.mb值.
在YARN群集中,作业不能使用比服务器端配置更多的内存,yarn.scheduler.maximum-allocation-mb否则它们将被终止.
要检查默认值,这些优先级,见JobConf并MRJobConfig在Hadoop的源代码.
故障排除
请记住,mapred-site.xml可能会为这些设置提供默认值.这可能会让人感到困惑 - 例如,如果您的作业以mapred.child.java.opts编程方式设置,那么如果mapred-site.xml设置mapreduce.map.java.opts或,则无效mapreduce.reduce.java.opts.您需要在作业中设置这些属性,以覆盖mapred-site.xml.检查作业的配置页面(搜索"xmx")以查看已应用的值以及它们的来源.
ApplicationMaster内存
在YARN群集中,您可以使用以下两个属性来控制ApplicationMaster可用的内存量(保存输入拆分的详细信息,任务状态等):
Hadoop 0.x, 1.x Hadoop 2.x
------------------------------- --------------------------
yarn.app.mapreduce.am.command-opts
yarn.app.mapreduce.am.resource.mb
同样,您可以将-Xmx(在前者中)设置为resource.mb值的75%.
其他配置
还有许多与内存限制相关的配置,其中一些已被弃用 - 请参阅JobConf课程.一个有用的:
Hadoop 0.x, 1.x (deprecated) Hadoop 2.x
------------------------------- --------------------------
mapred.job.reduce.total.mem.bytes mapreduce.reduce.memory.totalbytes
将其设置为较低的值(10),以便在您遇到OutOfMemoryErrorat时强制在磁盘上发生shuffle MapOutputCopier.shuffleInMemory.