推测执行的不适应场景

 

在HADOOP里，如果一个任务运行比预期的慢，就会尽快检测和启动另一个相同的任务作为备份来执行相同的工作，虽然它会降低执行慢的任务执行失败带来的损失，但也会消耗更多的资源，执行重复的工作。有利有弊，可以选择使用。

自己写MR代码时就遇到了推测执行会产生错误的情况。

当我使用MultipleOutputFormat来把不同数据写到不同目录里时就报错了，错误信息为：

org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException: failed to create file ......_part-00000 for DFSClient_attempt_201205151343_1053807_r_000004_2 on client 10.249.38.46.because this file is already being create by ......

这就是当遇到一个task比较慢时，推测执行另起一个task，往同一个文件插入数据导致的冲突。

禁用此功能后就OK了

jobConf.setBoolean("mapred.reduce.tasks.speculative.execution",false);

如果map端遇到此类问题可执行

jobConf.setBoolean("mapred.map.tasks.speculative.execution",false);