MapReduce模型
MapReduce模型该模型对应的是MapReduce: Simplified Data Processing on Large Clusters论文中提出的模型。mr模型基于分布式文件系统和集群,高吞吐但也存在高延迟的大数据处理模型,map和reduce的思想很值得借鉴。map和reduce任务可以总结为:map:(k1, v1) => list (k2, v2).reduce:(k2, list(v2)) => list(v2).MR流程将输入文件拆分为大小(由
原创
2022-03-25 19:13:07 ·
3559 阅读 ·
0 评论