hadoop 配置相关参数

mapred.reduce.slowstart.completed.maps（map完成多少百分比时，开始shuffle）

当map运行慢，reduce运行很快时，如果不设置mapred.reduce.slowstart.completed.maps会使job的shuffle时间变的很长，map运行完很早就开始了reduce，导致reduce的slot一直处于被占用状态,这个值是和“运行完的map数除以总map数”做判断的，当后者大于等于设定的值时，开始reduce的shuffle。所以当map比reduce的执行时间多很多时，可以调整这个值（0.75,0.80,0.85及以上）

 

详细过程解释参考https://www.cnblogs.com/Mandylover/archive/2016/03/03/5240518.html   博客