1. 问题描述
运行MR的时候,发现进展到一定程序后,进度停滞,一段时间后,因为task超时而中断。
打开jobtacker,查看对应的MR,发现运行的map数量等于集群所配置的task数量,并且这些map task进度为100%,但仍处于RUNNING状态。
图1:MR进度
图2:RUNNING状态的task,进度都是100%。
图3:点开某个task,log内容如下:
2. 解决办法
从日志中可以看出,是由于 record 满了。
解决办法是调整下述3个参数:
文件来源:http://wenku.baidu.com/view/40d63e0a16fc700abb68fcf0.html