MapReduce

核心思想：分治

       Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。

        Reduce负责“合”，即对map阶段的结果进行全局汇总。

主要特点

        把一个大的问题，划分成很多小的子问题，并且每个小的子问题的求取思路与我们大问题的求取思路一致

MapReduce框架结构

        一个完整的mapreduce程序在分布式运行时有三类实例进程：

        1、MRAppMaster：负责整个程序的过程调度及状态协调

        2、MapTask：负责map阶段的整个数据处理流程 

        3、ReduceTask：负责reduce阶段的整个数据处理流程

mapReduce编程模型的总结：

        MapReduce的开发一共有八个步骤其中map阶段分为2个步骤，shuffle阶段4个步骤，reduce阶段分为2个步骤

• Map阶段2个步骤

        第一步：设置input