reduce过程的百分比与对应的处理如下:
- 0~33%是shuffle的过程,数据从mapper已到了reducer
- 33~67%是sort的过程,这个过程只会在mapper完成后才会执行
- 67~100%才是reducer程序执行的过程。如果reduce卡在了67%,那么说明reducer一个也没有执行。可能是输入数据太大,超过了限制,也可能是reducer有死循环的bug
mapreduce卡67%
最新推荐文章于 2022-11-20 14:45:20 发布
reduce过程的百分比与对应的处理如下:
- 0~33%是shuffle的过程,数据从mapper已到了reducer
- 33~67%是sort的过程,这个过程只会在mapper完成后才会执行
- 67~100%才是reducer程序执行的过程。如果reduce卡在了67%,那么说明reducer一个也没有执行。可能是输入数据太大,超过了限制,也可能是reducer有死循环的bug