跑hadoop任务时提示running beyond virtual memory limits

结尾还提示：Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1

 

解决方法：

     首先保证/usr/local/src/hadoop-2.6.1/etc/hadoop/hdfs-site.xml下<name>dfs.replication</name>是正确的。（这步好像不会影响，只要下面2步做完就行）

1. mapred-site.xml中设置map和reduce任务的内存配置如下，将以下代码追加到mapred-site.xml中：(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)

   <property>
   　　<name>mapreduce.map.memory.mb</name>
   　　<value>1536</value>
   </property>
   <property>
   　　<name>mapreduce.map.java.opts</name>
   　　<value>-Xmx1024M</value>
   </property>
   <property>
   　　<name>mapreduce.reduce.memory.mb</name>
   　　<value>3072</value>
   </property>
   <property>
   　　<name>mapreduce.reduce.java.opts</name>
   　　<value>-Xmx2560M</value>
   </property>

    

2. 将master虚拟机内存设置为3072MB，然后hadoop集群不需要重启就可以跑成功了。