MapReduce是一个分布式并行计算框架 是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。 一个大的任务被拆分成多个小任务,每个小任务同时执行。按照执行流程进行计算。 MapReduce核心思想 分而治之,先分后和(只有一个模型) Map负责数据拆分 map: [k1,v1] → [(k2,v2)] Reduce负责数据合并 reduce: [k2, {v2,…}] → [k3, v3]