hadoop 异常处理实例（一）hadoop内存配置项

Exception in thread "main" java.io.IOException: Job failed!
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1357)
        at org.apache.nutch.parse.ParseSegment.parse(ParseSegment.java:209)
        at org.apache.nutch.crawl.Crawl.run(Crawl.java:143)
        at org.apache.hadoop.util.ToolR

http://192.168.2.30:50030/jobtracker.jsp

单机JobID那个东东

单机map或者 killed = 1 均可

Error: Java heap space
Error: Java heap space
Error: Java heap space
Error: Java heap space

hadoop内存配置项

<property>
    <name>mapred.child.java.opts</name>  map任务启动内存
    <value>-Xmx64m</value>
</property>
hadoop-env.sh
export HADOOP_HEAPSIZE=32  这个是namenode datanode启动的设置内存

<property>
 <name>io.sort.mb</name>    排序内存（要小于map启动内存，一般是调大的。。如果调大，则要配合map槽和机器内存一起）
 <value>10</value>
</property>