2020-12-09
Mapreduce及原理简介
Mapreduce可以大幅提高处理大规模文件(1TB)的效率,是一种高效的并行编程模型。
1.处理流程
Mapreduce一共有几个过程:Input、split、Map、shuffle、reduce、finalize。
打个比方:
你是一个餐厅的厨师,你要先从物流采购人员(input 数据输入)那里获得自己需要的蔬菜水果(split 将数据切割)、然后把它们切碎(Map 处理数据),然后呢素材就准备好了,需要冷冻一下存储,放到冰箱里(shuffle 保存数据),等你需要用的时候
原创
2020-12-09 20:33:57 ·
154 阅读 ·
0 评论