问题:
发现每次reduce阶段跑到98%,相关的container被杀。报出的log大概的意思:container 600s未报告进度超时被杀
解决的方法:
在mapreduce程序里加上
conf.set("mapred.task.timeout", "0"); //不检查超时
又一次打包执行,最后没有出现错误,可是执行非常长时间,总算执行完了,怀疑程序问题有大循环
最后检查reduce发现会有双层循环,有可能会很大,导致卡在reduce内部,长时间没有进行不论什么的读写,也就没有汇报他的进度情况