小白都能看懂的MapReduce的运行机制
小白都能看懂的MapReduce的运行机制,你懂了吗写MR的运行机制其实就是从Input到output的一个过程,再这其中涉及到了两个阶段,Map阶段和Reduce阶段,中间还有一个Shuffle过程。再map阶段呢,就是讲数据已K,V形式读取进来,然后再通过环形缓冲区,然后分区,排序,归并。reduce阶段呢 拉取map阶段的数据,再进行归并排序,然后再已K,V的形式写出去,可以写到下一个ma...
原创
2020-05-07 22:09:24 ·
199 阅读 ·
0 评论