MepReduce架构及原理

1. MapReduce 定义
Hadoop中的MepReduce是一个使用简单的软件框架，基于它写出来的程序能运行在由上千个机器组成的大型集群上，并以一种可靠容错并行处理TB级别的数据集。

2.MepReduce特点
1）MepReduce易于编程
它简单的实现一些接口，就可以完成一个分布式程序。这个分布式程序可以分布到大量的廉价PC上运行。也就是说你写一个分布式程序就跟写一个简单的串行程序是一样的。
2）良好的扩展性
当你的计算机资源不能满足时，可以通过简单的增加机器来扩展它的计算能力。
3）高容错性
MepReduce的设计初衷就是能将程序分布到大量的廉价pc机上运行，这就要求它有很高的容错性。比如其中的一台机器挂了，它可以把上面的计算任务转移到另一个节点上运行，不至于这个任务运行失败。这个过程都是hadoop内部完成的。
4）适合PB级以上海量数据的离线处理
它适合离线处理而不适合在线处理。比如像毫秒级别的返回一个结果，MapReduce很难做到。
在有些场景下并不适合MapReduce来处理，如：
1.实时计算
MapReduce无法像MySql一样在毫秒或秒级内返回结果。
2.流式计算
流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，不能动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的。
3.DAG（有向图）计算
多个应用程序存在依赖关系，后一个应用程序的输入是前一个的输出。在这种情况下，每个MapReduce作业的输出结果都会写入磁盘，会造成大量的磁盘IO，导致性能十分低下。

3.MapReduce 实例
为了分析 MapReduce 的编程模型，这里我们以 WordCount 为实例。就像 Java、C++等编程语言的入门程序 hello word 一样，WordCount 是 MapReduce 最简单的入门程序。
下面我们就来逐步分析
1、场景：假如有大量的文件，里面存储的都是单词。
类似应用场景：WordCount 虽然很简单，但它是很多重要应用的模型。
1) 搜索引擎中，统计最流行的K个搜索词。
2) 统计搜索词频率，帮助优化搜索词提示。
2、任务：我们该如何统计每个单词出现的次数？
3、将问题规范为：有一批文件（规模为 TB 级或者 PB 级），如何统计这些文件中所有单词出现的次数。
4、解决方案：首先，分别统计每个文件中单词出现的次数；然后，累加不同文件中同一个单词出现次数。

4.MapReduce编程模型
通过上面的分析可知，它其实就是一个典型的 MapReduce 过程。下面我们通过示意图来分析 MapReduce 过程

上图的流程大概分为以下几步：
1.假设一个文件有三行英文单词作为 MapReduce 的Input（输入），这里经过 Splitting过程把文件分割为3块。分割后的3块数据就可以并行处理，每一块交给一个 map 线程处理。
2.每个map线程中，以每个单词作为key，以1作为value，之后输出。
3.输出的map要经过shuffling（混洗），将相同的单词key放在一个桶里，然后交给reduce进行处理。
4.reduce接收到sh