u010548376的专栏

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在

package cn.lmj.mapreduce; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Te

文件的内容如下所示： 5 45 8 876 6 45 要求最后的输出格式： 1    5 2    6 3    8 4    45 5    45 5    876 首先，这个题目是需要对文件的内容进行排序操作。我们都知道在mapper阶段是会对key进行排序的，我们就利用这个出发，把输入一行的数据转换成int，再把该int做mapper的key输