MapReduce的容错机制（一）

前言

    现实中，用户代码错误、进程崩溃、机器故障等等都可能导致MapReduce程序失败，但是Hadoop最主要的好处之一就是它能处理此类故障并完成作业。

 

失败

• 经典MapReduce中的失败
• YARN中的失败

 

经典MapReduce中的失败

主要考虑三种失败模式：运行任务失败、tasktracker失败以及jobtrack失败

 

（1）运行任务失败

• 子任务失败：最常见的就是map或reduce中用户代码抛异常，此时子任务JVM进程会在退出前向其父tasktracker发送错误报告，错误报告会被记入用户日志。tasktracker将此次任务的任务尝试标记为failed，并释放任务槽供其他任务运行。对于Streaming任务，如果Streaming进程已非零退出代码退出，则会被标记为failed。该行为由steam.non.zero.exit.is.failure属性是否为true控制

• 子进程JVM突然退出：可能由于JVM软件缺陷而导致MapReduce用户代码由于某种特殊原因 造成JVM退出，这种情况下tasktracker会注意到进程已经退出并将此次任务尝试标记为failed

• 任务挂起：一旦tasktracker注意到已经有一段时间没有收到任务进度的更新，便会将任务标记为failed，在此之后，JVM子进程将被杀死。默认超时时间为10分钟，可通过mapred.task.timeout属性设置（单位：毫秒）。若设置为0，则任务将永远不会被标记为failed（不推荐）

<