Java heap space

其实这样的错误有时候并不是程序逻辑的问题(当然有可能是由于程序写的不够高效，产生的内存消耗不合理而导致)，而是由于同样的作业，在数据量和数据本身发生不同时就会占据不同数量的内存空间。由于hadoop的mapreduce作业的运行机制是：在jobtracker接到客户端来的job提交后，将许多的task分配到集群中各个tasktracker上进行分块的计算，而根据代码中的逻辑可以看出，其实是在tasktracker上启了一个java进程进行运算，进程中有特定的端口和网络机制来保持map 和reduce之间的数据传输，所以，这些OOM的错误，其实就是这些java进程中报出了OOM的错误。 
     知道了原因以后就好办了，hadoop的mapreduce作业启动的时候，都会读取jobConf中的配置（hadoop-site.xml），只要在该配置文件中将每个task的jvm进程中的-Xmx所配置的java进程的max heap size加大，就能解决这样的问题： 
<property> 
  <name>mapred.child.java.opts</name> 
  <value>-Xmx1024m</value> 
</property> 

PS：该选项默认是200M 

新版本应该是在conf/hadoop-env.sh文件中修改。默认为1000M

有时在eclipse中叶需要修改，具体如下：

原来发现是我查询时limit后面的变量形式不对，详见java中总结的一些重点那片文章)原来只要在eclipse中，Eclipse ->run -arguments 中的VM arguments 中输入-Xms512m -Xmx1024m这个参数就可以了。

转载于:https://my.oschina.net/mkh/blog/71118