![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
码农的世界,你不懂
这个作者很懒,什么都没留下…
展开
-
MapReduce的核心之Shuffle详解
1.MapReduce的核心之shuffle详解 上一篇中我们介绍了MapReduce是什么,以及MapReduce的运行过程,其中在运行过程中主要分为Map端与Reducer端,MapReduce计算模型主要完成了映射与化简,在这其中,有一个最重要的过程那就是其核心——shuffle,shuffle翻译过来也就是混洗。可能大家比较熟知的是JAVA API中的Collections.shuffl...原创 2019-11-29 11:12:33 · 349 阅读 · 0 评论 -
MapReduce多进程与Spark多线程
,首先要区分分布式概念,分布式指的是将一个任务切分成多块分到多台机器运行. 2,进程可以理解成该服务器分到的那一块任务(MapReduce每分到一个任务会重启一个进程). 3,线程可以 理解成在进程的基础之上又细分的更小的任务. 4,在任务级别(特指Spark任务和MapReduce...原创 2019-10-30 15:34:18 · 171 阅读 · 0 评论