从网上搜集一些spark Runjtime、Schedule、Shuffle、stage划分等的示意图。之前写的博客一直没放过图,看起来可能没那么直观,这里搜集些,方便理解也以备以后可能用到。
spark schedule总图:
hadoop mapreduce shuffle过程:
从图上可以看出hadoop mr每一次mr都要落盘。
spark mr与hadoop mr落盘对比:
spark Runtime( driver与worker):
spark stage划分示意图:
spark 窄依赖与宽依赖: