Hive异常处理之return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

使用使用hive执行任务的时候，执行一半了，提示

Job failed with java.lang.NullPointerException
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.

嗯？ 嗯？ 嗯？
我可是上过小学的，这就有点过分了啊。空指针异常，差点我就信了。
机制的我，开始就开始找log日志，找。找。。找。。。找。。。。。
mmp，忘了在哪里了，就不上图了。

原因呢？就是即使spark task的任务失败，executor内存不足。

决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用)

解决办法

set mapred.map.tasks.speculative.execution=true
set mapred.reduce.tasks.speculative.execution=true