MapReduce是一种基于分治思想的并行计算框架。主要包括Split、Map、Shuffle、Reduce四个阶段。Split阶段将文件分片，Map阶段对分片进行处理，Shuffle阶段对Map的输出进行排序和分区，Reduce阶段整合相同Key的数据进行计算，如单词计数。整个流程以直观的执行流程图展示。
MapReduce
MapReduce主要思想:分而治之
map阶段主要负责"分",将一个file文件分成若干个小文件
reduce阶段负责"合",将map阶段分开的小文件合成一个reduce输出.
MapReduce主要分为四个阶段Split、Map、Shuffle、Reduce 这四个阶段.
其中1.Split(分片输出)
2.map阶段
Split 阶段的输出作为 Map 阶段的输入，split的一个分片是一个 Map 。在 Map 阶段中，读取 value 值，将 value 值拆分为需要的形式。key 为 每个单词，value 为 1。
3.Shuffle 阶段
Map 阶段的输出会作为 Shuffle 阶段的输入。
4.reduce阶段
将相同的key相加,计数.
MapReduce执行流程图
main方法
public static void main(String[] args) throws IOException, ClassNotFoundEx
最低0.47元/天 解锁文章
880
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
