在使用Hadoop运行任务时,很有可能因为硬件资源不够而造成堆内存溢出
解决办法:
在yarn-site.xml中加入如下代码:
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
value>2048</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m</value>
</property>
注意:要在集群的其机器进行相应操作!