分布式计算框架Map/Reduce

一、 分布式计算框架 MapReduce
1.MapReduce 是什么
MapReduce 是一种编程模型，是面向大数据并行处理的计算模型、框架和平台。
MapReduce 是一个基于集群的高性能并行计算平台。可以使用普通服务器构成一个包含数十、数百、甚至数千个节点的分布式和并行计算集群。
MapReduce 是一个并行计算与运行的软件框架。它提供了一个庞大但设计精良的并行计算软件框架，能自动划分计算数据和计算任务，自动完成计算任务的并行化处理，实现在集群节点上自动分配和执行任务并收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂实现细节交由系统负责处理，大大减少了软件开发人员的负担。
MapReduce 是一个并行程序设计模型与方法。它提供了一种简便的并行程序设计方法，用 Map 和 Reduce 两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。
2.基本本特点
分布可靠，对数据集的操作分发给集群中的多个节点实现可靠性，每个节点周期性返回它完成的任务和最新的状态.
封装了实现细节，基于框架 API 编程，面向业务展开分布式编码,提供跨语言编程的能力.

二、 MapReduce 运行流程
1、MapReduce 的主要功能
1.1数据划分和计算任务调度
系统自动将一个作业(Job)待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务(Task)，并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map 节点或 Reduce 节点)，同时负责监控这些节点的执行状态，并负责 Map 节点执行的同步控制。
1.2数据/代码互定位
为了减少数据通信，一个基本的原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点(数据向代码迁移)，但尽可能从数据所在的本地机架上寻找可用节点以减少通信延迟。
1.3系统优化
为了减少数据通信开销，中间结果数据进入 Reduce 节点前会进行一定的合并处理；一个 Reduce 节点所处理的数据可能会来自多个 Map 节点，为了避免 Reduce 计算阶段发生数据处理不平衡，Map 节点输出的中间结果需使用一定的策略进行适当的划分处理，保证相关性数据发送到同一个 Reduce 节点；此外，系统还进行一些及酸性能优化处理，如对最慢的计算任务采用多备份执行、选最快完成者作为结果。
1.4出错检测和恢复
以低端的商用服务器构成的大规模 MapReduce 计算集群中，节点硬件(主机、磁盘、内存等)出错和软件出错是常态，因此 MapReduce 需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务。同时系统还将维护数据存储的可靠性，用多备份冗余存储机制提高数据存储的可靠性， 并能及时检测和恢复出错的数据。
2、MR的运行流程

2.1运行流程
在图上可以看到MapReduce包含几个这样的步骤 、
1）首先对输入的数据源进行切片
2）master调度worker执行map
3）worker读取输入源片段
4）worker执行map任务，将任务输出保存在本地
5）master调度worker执行reduce任务，reducer worker读取map文件执行reducer任务，将任务输出保存到HDFS。
运行流程详解2.2
以WordCount为例
给定任意的 HDFS 的输入目录，其内部数据为“f a c d e……”等用空格字符分隔的字符串， 通过使用 MapReduce 计算框架来统计以空格分隔的每个单词出现的频率，输出结果如
<a,10>,<b,20>,<c,2>形式的结果到 HDFS 目录中
讲作业分成两个大的阶段
map阶段 有一定数量的Map Task
1）输入数据格式解析：InputFormat （将数值转化为k、v对,默认是文本格式）
2)输入数据处理：Mapper
3)数据分组：partitioner
4)数据按照key排序
5)本地规约：Combiner
6)将任务输出并保存到本地
在mapper输出数据到reduce读取数据之间有个shuffle的过程
reduce阶段
1)数据远程拷贝
2)数据按照key排序
3)数据处理 reduce
4）数据输出格式 OutputFormat