MapReduce
关注
分享
扫一扫
LafreeBing泉
慎独
展开
-
mapreduce框架讲解
mapreduce#hadoop/mapreduceMapReduce将复杂的，运行于大规模集群上的并行计算过程高度的抽象到了两个函数：map和reduce编程变得容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算MapReduce采用分而治之的策略，一个储存在分布式文件系统中的大规模数据集，会被切分为许多独立的分片（split），这些分片可...原创 2018-09-20 15:48:04 · 1024 阅读 · 0 评论 -
mapreduce shuffle详细讲解（转）
MapReduce:详解Shuffle过程 转自http://langyu.iteye.com/blog/992916#commentsShuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job ...转载 2018-11-21 17:23:28 · 151 阅读 · 0 评论