Hadoop回顾--MapReduce异常处理

一、MapReduce任务异常的处理方式

1、异常最常见的是：

（1）Map或Reduce任务中的某些代码抛出异常，此时Hadoop强行停止java虚拟机，并向JobTracker汇报，JobTracker将任务标记为失败显示给用户，同时写入日志目录。

（2）MapReduce因为JVM的bug或者节点硬件的问题产生异常（非代码问题），TaskTracker重新更换节点运行，若一个任务在不同节点失败次数过多（4次），则会被标记为真正失败。

2、处理办法

设置重试次数以及等待一定次数后对异常记录跳过检测：

conf.setInt("Mapred.Map.max.attempts",2);                    //设置尝试次数，超过则失败

conf.setInt("Mapred.skip.attempts.to.start.skipping",1);   //开始“跳过”模式，读取失败超过则开启“skip mode”

conf.setInt("Mapred.skip.Map.max.skip.reords",1);     //设置最大跳过记录数

3、任务推测（任务备份）

不是所有的异常都会导致任务失败，也有可能因为网络或者硬件或其他原因导致运行过慢，此时Haodop会自动在另外一个节点上启动同一个任务作为任务执行的一个备份。

二、MapReduce任务失败的处理方式

两种失败方式：JobTracker失败与TaskTracker失败

1、JobTracker（hadoop的任务调度器）失败，整个MapReduce任务一定失败，无法自动修复和处理。

2、TaskTracker失败后，会停止向JobTracker发送心跳信息，JobTracker会将TaskTracker的任务重新选择节点运行。

三、JAVA虚拟机重用

   1、存在问题：Hadoop为每个任务启动一个新的虚拟机，若java虚拟机开启过多（任务被划分得过于细粒度），资源损耗会过大。

2、解决办法：“Java虚拟机重用模式”，类似线程池与连接池的原理。将细粒度的任务变成串行执行。

3、过程：多个java虚拟机被同时启动，执行完一个任务后，并不直接关闭，而是被加载新的任务重新执行。同时执行的java虚拟机数目可设定，默认1,（不适合重用）；默认-1，所有任务都用同一个java虚拟机。