本文详细介绍了MapReduce的执行过程，以WordCount为例，从读取文件到Mapper处理，再到Shuffle和Reduce阶段，最后输出结果。重点讨论了Mapper如何将输入转化为(key, value)对，Shuffle阶段的分区、排序和分组，以及Reducer如何计算单词出现次数。通过理解这一流程，可以更好地掌握MapReduce模型的应用。"
119912917,9942725,2021电工初级考试详解与解析,"['电工', '初级考试', '电路', '安全', '培训']
mapper和reducer输入和输出都是以(key,value)形式的。
在map和reduce之间进行了分组group，按照key2来分组，然后将v2放在一个集合中，作为一个value。
eg：<a,1><a,3>分为a<1,3>
【shuffule非常重要，明天讲】
如果我们想实现mapreduce模型，只需要重写map方法和reduce方法即可，适合各种业务。
mapreduce执行过程：
1.读取文件内容，一行内容解析成一个key,value【怎么做的？一会儿介绍】一个（key，value）对执行一次map函数方法
2.在map里实现自己的业务逻辑，转换成新的key，value，然后输出
3.对输入的key，value分区
4.对不同分区的数据，排序分组。</
最低0.47元/天 解锁文章
扫一扫
1344
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
