MapReduce并行计算构架流程

   

MapReduce 概述

1. MapReduce 是面向大数据并行处理的计算模型、框架和平台。
2. MapReduce 是一种编程模型
3. 为解决大数据并行处理问题提供模板
4. MapReduce 是一个编程框架
5. 降低编写大数据并行处理程序的难度
6. MapReduce 是一个高性能的并行计算平台
7. 为大数据并行处理程序提供运行环境

MapReduce 原理

1. 分治法：
2. 把规模较大的复杂问题拆分为若干规模较小子问题
3. 并逐个解决子问题
4. 最后再将各个子问题的解决结果合并，得到原始问题的结果

MapReduce 角色

1. Map：拆分后的小任务
2. 统计每页中单词出现的次数
3. 文件数据以 key-value 的形式输入 Map 程序进行分析
4. Map 程序分析的结果也以 key-value 的形式输出
5. Reduce：汇总每个 Map 的分析结果
6. 汇总每页中单词出现的次数
7. 数据以 key-value 的形式输入 Reduce 程序进行汇总
8. Reduce 程序汇总的结果也以 key-value 的形式输出
9. Job/Driver：组装 Map 和 Reduce
10. 管理和指挥另外两种员工

 

WordCount 执行流程

        Map 阶段：

1.  文件数据被拆分后交给不同的 map 程序进行分析
2.  数据以行为单位转换为 kv 格式交给 map 程序进行分析
3.  key 是行首字母的索引