关于MapReduce中reduce百分比的问题

今天遇到一个问题:MapReduce执行任务的百分比回退,需要查看日志分析。那如何判断是那个阶
段出现问题了呢?

在reduce阶段大概分为3个阶段

  1. shuffle(进度:0~33%)

    准备数据,获取Map阶段已经计算完的数据。会在map执行完一部分,开始拉取数据。

  2. sort(进度:33%~66%)

    Reduce对拉取的数据进行排序

  3. reduce(进度:66%~100%)

    真正的reduce计算阶段,执行你所写的reduce代码,如果卡在这个阶段,就是reduce的代码发生问题了,否则才是数据量大的问题。

看了下日志,发现reduce进度在第一阶段,即排除是reduce的问题。重点排查map阶段。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值