MapReduce计算流程简介

目前大数据计算分析主要用到的计算模型有MapReduce(离线批处理)，图并行计算，交互式处理(Iteractive Processing)，流计算(Streaming)，内存计算(In-memory Computing)，大规模并行处理(Massively Parallel Processing)等。
MapRedcue是一种支持分布式计算环境的并行处理模型。MapRedcue程序运行在由多态计算机组成的Master/Slave集群架构上（一个Master节点，多个Slave节点，Master节点负责任务调度和管理，Slave节点执行具体的计算任务）。
包括Split(数据划分)、Map(映射)、Collerct&Sort(聚合排序也称Shuffle)、Reduce(简化)、以及Store(数据存储)5个步骤。
MapRedcue的编程接口对上述步骤进行了封装，用户只需定义自己的MAP()和Reduce()函数即可以完成数据集的循环迭代计算。具体过程为：程序从分布式文件系统读入大数据集并切分为Split(分片)、Map函数处理Split并输出中间结果，Shuffle把中间结果分区排序整理后发送给Reduce函数、Reduce完成具体计算任务并将最终结果写入文件系统。