2020-12-09

Mapreduce及原理简介

Mapreduce可以大幅提高处理大规模文件（1TB）的效率，是一种高效的并行编程模型。
1.处理流程
Mapreduce一共有几个过程:Input、split、Map、shuffle、reduce、finalize。

打个比方:
你是一个餐厅的厨师，你要先从物流采购人员(input 数据输入)那里获得自己需要的蔬菜水果(split 将数据切割)、然后把它们切碎(Map 处理数据)，然后呢素材就准备好了，需要冷冻一下存储，放到冰箱里(shuffle 保存数据),等你需要用的时候就拿出来根据需求做出菜(reduce),最终给顾客吃(finalize)。

具体流程如下:

首先用户将应用程序部署到多台主机上,分为master和worker。master的作用类似于管家，负责分配任务（map、reduce）给工人(worker)。
部署完毕后，客户端输入数据（input）给MapReduce，首先进行spilit将数据分片， 然后进行map函数处理,将处理后的数据保存在本地磁盘上（shuffle），等文件达到一定规模后，发送给reduce worker，最终输出文件（finalize）。

参考:
知乎 https://zhuanlan.zhihu.com/p/32172999