MapRuduce
THE ORDER
卷,学习笔记
展开
-
3 MapReduce阶段执行流程
1 WordCount执行流程图 2 MapReduce整体执行流程图 3 Map阶段执行过程 4 Reduce阶段执行流程 5 shuffle概念 6 总结 MR三阶段 map,reduce,shuffle原创 2022-02-10 13:22:46 · 100 阅读 · 0 评论 -
2 MapReduce官方示例
1 概述 2 示例说明 3 wordcount概述 4 总结 执行命令 [root@node1 mapreduce]# pwd /export/server/hadoop-3.3.0/share/hadoop/mapreduce [root@node1 mapreduce]# hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output 第一个参数:wordcount表示执行单词统计任务; 第二个参数:指原创 2022-02-10 12:35:34 · 126 阅读 · 0 评论 -
1 MapReduce介绍
1 、理解MapReduce思想 2 MapReduce设计思想 3 分布式计算概念 总结 1 MapReduce思想:MapReduce的思想核心是“先分再合,分而治之”。 Map表示第一阶段,负责“拆分”:即把复杂的任务分解为若干个“简单的子任务”来并行处理。可以进行拆分的 前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。 Reduce表示第二阶段,负责“合并”:即对map阶段的结果进行全局汇总。 这两个阶段合起来正是MapReduce思想的体现 2 对相原创 2022-02-10 12:16:56 · 1618 阅读 · 0 评论