在运行Hfile的MR如果任务client结束OOM

在运行MR将HDFS转换成HFile什么时候。例如，会发生以下的异常：

14/07/09 18:02:59 INFO mapred.JobClient:  map 83% reduce 0%
14/07/09 18:02:59 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_0, Status : FAILED
attempt_201401091245_59030413_m_000001_0: Separator: \u0001
14/07/09 18:03:01 INFO mapred.JobClient:  map 85% reduce 0%

14/07/09 18:03:22 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_1, Status : FAILED
Error: Java heap space
attempt_201401091245_59030413_m_000001_1: Separator: \u0001

出现了client端的OOM。导致任务运行失败。

这个的解决方式是在Hadoop的配置文件hadoop-site.xml中。加入例如以下配置：

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx4096m</value>
</property>

通过加内存的方式，解决这个问题！

版权声明：本文博客原创文章。博客，未经同意，不得转载。