关于MapReduce任务发生错误的解决方式

在工作中当一个任务失败并且没有足够的记录信息来诊断错误时，可以选择用调试器运行任务。当在集群上运行作业时，不知道哪个节点处理哪部分内容，故不能在错误发生前按照调试器。故

第一种方式是：

              在本地重新产生错误，对于特定的输入，失败是会一直发生的。可以通过下载致使任务失败的文件到本地运行重现问题，并借用VisualVM调试器进行分析解决。

第二种方式是：使用jvm调试选项，比如常见的失败原因java内存溢出。我们可以将mapred.child.java.opts设为包含：-XX:HeapDumpOnOutOfMemoryError-XX:HeapDumpPath=/path/to/dumps.该配置将产生一个堆转储，可以通过jhat等工具来检查。注意，该种方式jvm选项应当添加到由maped.child.java.opts指定的已有内存设置中。

第三种方式：在某些情况下保存失败任务的尝试中间结果对于以后文件检查很有用，可以通过设置mapreduce.task.files.preserve.failedtasks设为true来保存失败的任务文件。

第四种方式：将yarn.nodemanager.delete.debug-delay-sec设置为一个比较大的合理值（例如600，表示10分钟），这样在文件删除前有足够的时间查看。