当在Hadoop上运行Mapreduce作业来处理稍微大一点的数据量时,可能会遇到报错:java.lang.OutOfMemoryError: Java heap space的问题。
可以通过修改mapred-site.xml文件增加一个property:
<span style="font-size:18px;"> <property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m</value>
</property></span>
这会使得启动hadoop jvm时分配更多的heap space。
如果是运行Java Application报这样的错,则可以更改启动配置:
在VM arguments中加入:
-Xms<size> - Set initial Java heap size
-Xmx<size> - Set maximum Java heap size
-Xms512m
-Xmx1g