关于MapReduce的理解

字面翻译：

map -> 映射

reduce -> 缩减

简易作用：对海量数据进行并行计算的一个编程模型。

一.Master：负责调度，分配任务给Worker执行

二.Worker  1.mapper：执行函数任务

                  2.Reducer：汇总mapper传来的结果

MapReduce大体上分为六个步骤：

1. input,：输入
2. split：拆分，转换为key-value对
3.  map：映射，将拆分内容转换为新key-value对
4.  shuffle：派发，key相同的放一起，返回一个list，包含各种key-value对
5.  reduce：缩减，把同一key的结果加在一起
6.  output：输出

详细内容请参阅知乎：https://www.zhihu.com/question/23345991