reduce过程:
- 0~33%阶段是shuffle过程,数据从 mapper --> reducer。
- 33~67%阶段是sort的过程,在mapper完成后才会执行。
- 67%~100%阶段是真正的reducer程序的执行过程。
如果MR在 >67%阶段卡住不动,则说明reduce一个都没有执行。可能是输入的数据量过大。
如果MR过程中reduce回退,有可能是偶发性的reduce拉取临时文件失败,或者某些节点出现意外或者task失败,出现重跑现象。
建议可以重跑几次任务。
reduce过程:
如果MR在 >67%阶段卡住不动,则说明reduce一个都没有执行。可能是输入的数据量过大。
如果MR过程中reduce回退,有可能是偶发性的reduce拉取临时文件失败,或者某些节点出现意外或者task失败,出现重跑现象。
建议可以重跑几次任务。