hadoop的小疑问:Map执行未结束便开始执行Reduce操作?
关于MapReduce的一个很基本的疑问:
以入门的WordCount案列示意:
在程序执行MR的过程中,经常会在map还未执行结束时,便开始执行了reduce.
map执行结束后,通过shuffer过程,将想同的单词作为一个key放在一起
map的输出结果为(key,1)
假设Map执行了80%时,便已经开始了reduce操作,那么已经出现统计过的词
原创
2017-01-15 23:18:01 ·
2833 阅读 ·
2 评论