Spark stage划分和宽窄依赖

宽窄依赖

RDD之间的有一系列的关系，主要分为宽依赖和窄依赖。下面是各自的定义，以及图解。

窄依赖
父RDD partition 和 子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的
partition情况下的父RDD和子RDD关系是多对一的。不会有shuffle的产生。例如 map，filter，union等算子。

宽依赖
父RDD partition 和 子RDD partition之间的关系是一对多。会有shuffle的产生。例如groupByKey等算子。

Stage的划分

spark划分stage的整体思路是：从后往前推，遇到宽依赖就断开，划分为一个stage；遇到窄依赖就将这个RDD加入该stage中。

Spark中task分为两类ShuffleMapTask和ResultTask，DAG最后一个阶段会为每个结果的partition生成一个ResultTask，所以每个Stage的task数量是由该Stage中最后一个RDD的Partition的数量所决定的，而其余所有阶段都会生成ShuffleMapTask。之所以称之为ShuffleMapTask是因为它需要将自己的计算结果通过shuffle到下一个stage中。