MapReduce模型

       MapReduce编程模型的设计目标是：使用普通硬件的大型集群处理非结构化数据并产生大规模数据集，它能够在数千个计算节点的集群上处理TB级数据，进行故障处理，完成任务复制并聚合最终结构。

      MapReduce模型包含可以在多台机器上并行执行的两个函数，map函数和reduce函数。

      用户自定义map函数和reduce函数；

      map函数读取键值对<k1,v1>，执行用户指定的代码，产生中间结果；对所有输入记录逐条执行map函数，每条记录产生零到多个中间键值对<k2,v2>，然后放到<k2,list(v2)>记录中。

      reduce函数聚合中间结果并输出最终结果。对每个map输出的<k2,list(v2)>记录调用reduce函数，对每条记录，reduce函数输出零到多个<k2，v3>对，对所有的<k2,v3>对最后合并成最终结果。

     性能瓶颈在键值对的聚合操作，会产生大量的I/O，以及网络流量I/O。在map侧进行预聚合（combine函数）。