3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce

Hadoop MapReduce（计算）

一、理解MapReduce思想

• MapReduce的思想核心是“先分再合，分而治之”。

• 所谓“分而治之”就是把一个复杂的问题，按照一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果，然后把各部分的结果组成整个问题的最终结果。

• 这种思想来源于日常生活与工作时的经验。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。
  

• Map表示第一阶段，负责“拆分”：即把复杂的任务分解为若干个“简单的子任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。

• Reduce表示第二阶段，负责“合并”：即对map阶段的结果进行全局汇总。

• 这两个阶段合起来正是MapReduce思想的体现。

• 一个比较形象的语言解释MapReduce
  要数停车场中的所有停放车的总数量。
  你数第一列，我数第二列…这就是Map阶段，人越多，能够同时数车的人就越多，速度就越快。
  数完之后，聚到一起，把所有人的统计数加在一起。这就是Reduce合并汇总阶段。

二、Hadoop MapReduce设计构思

思路

1. MapReduce的思想很好理解，关键在于如何基于这个思想设计出一款分布式计算程序？
2. 下面看看Hadoop团队针对MapReduce的设计构思是怎样的？这决定了你将如何使用MapReduce？

（1）如何对付大数据处理场景

• 对相互间不具有计算依赖关系的大数据计算任务，实现并行最自然的办法就是采取MapReduce分而治之的策略。
• 首先Map阶段进行拆分，把大数据拆分成若干份小数据，多个程序同时并行计算产生中间结果；然后是Reduce聚合阶段，通过程序对并行的结果进行最终的汇总计算，得出最终的结果。
• 不可拆分的计算任务或相互间有依赖关系的数据无法进行并行计算！
  

（2）构建抽象编程模型

• MapReduce借鉴了函数式语言中的思想，用Map和Reduce两个函数提供了高层的并行编程抽象模型。
  map: 对一组数据元素进行某种重复式的处理；
  reduce: 对Map的中间结果进行某种进一步的结果整理。
  
  左：分
  小方块：代表拆分的任务
  将小任务同时并行去做得到各个小的结果（⚪）
  右：合

• MapReduce中定义了如下的Map和Reduce两个抽象的编程接口，由用户去编程实现:
  map: (k1; v1) → (k2; v2)
  reduce: (k2; [v2]) → (k3; v3)
  通过以上两个编程接口，大家可以看出MapReduce处理的数据类型是<key,value>键值对。

（3）统一架构、隐藏底层细节

• 如何提供统一的计算框架，如果没有统一封装底层细节，那么程序员则需要考虑诸如数据存储、划分、分发、结果收集、错误恢复等诸多细节；为此，MapReduce设计并提供了统一的计算框架，为程序员隐藏了绝大多数系统层面的处理细节。
• MapReduce最大的亮点在于通过抽象模型和计算框架把需要做什么(what need to do)（业务）与具体怎么做(how to do)（技术）分开了，为程序员提供一个抽象和高层的编程接口和框架。
• 程序员仅需要关心其应用层的具体计算问题，仅需编写少量的处理应用本身计算问题的业务程序代码。
• 至于如何具体完成这个并行计算任务所相关的诸多系统层细节被隐藏起来,交给计算框架去处理：从分布代码的执行，到大到数千小到单个节点集群的自动调度使用。

三、Hadoop MapReduce介绍

分布式计算概念

• 分布式计算是一种计算方法，和集中式计算是相对的。
• 随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。
• 分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。
  

MapReduce介绍

• Hadoop MapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）。
• MapReduce是一种面向海量