这几天在理解Spark的时候找了大量的网络文章,这里还看到几篇,在这里我做一个关于Spark的总结
首先与Hadoop的Shuffle进行对比,Spark的Shuffle是根据Spark的逻辑设计的。
首先看一下Hadoop的Shuffle。
可以理解为执行Map函数与执行Reduce函数中间的核心过程叫做Shuffle。
这几天在理解Spark的时候找了大量的网络文章,这里还看到几篇,在这里我做一个关于Spark的总结
首先与Hadoop的Shuffle进行对比,Spark的Shuffle是根据Spark的逻辑设计的。
首先看一下Hadoop的Shuffle。
可以理解为执行Map函数与执行Reduce函数中间的核心过程叫做Shuffle。