MapReduce是一个软件框架,可方便的编写应用程序,以并行的方式在数千商用硬件组成的集群节点中处理数TB的数据,并且提供了可靠性和容错的能力。
MapReduce处理模型包括两个独立的步骤:
-并行Map阶段,输入数据被分割成离散块以便可以单独处理。
-shuffle阶段,每个Reduce的输入都是按照键排序的,系统执行排序的过程;
-Reduce阶段,汇总Map阶段的输出生成预期的结果。
MapReduce是一个软件框架,可方便的编写应用程序,以并行的方式在数千商用硬件组成的集群节点中处理数TB的数据,并且提供了可靠性和容错的能力。
MapReduce处理模型包括两个独立的步骤:
-并行Map阶段,输入数据被分割成离散块以便可以单独处理。
-shuffle阶段,每个Reduce的输入都是按照键排序的,系统执行排序的过程;
-Reduce阶段,汇总Map阶段的输出生成预期的结果。