【spark笔记】Stage划分原理

我们开发一个应用后，把这个应用提交到集群，那么这个应用就叫Application，这个应用里面我们开发了好多代码，这些代码凡是遇到一个action操作，就会产生一个job任务，也意味着，一个Application有一个或者一个以上的job任务，然后这些job任务划分为不同的stage去执行，这个stage里面就是运行不同的task任务，task计算的就是分区上面的数据。

看图：

窄依赖

指每个父RDD的Partition最多被子RDD的一个Partition所使用，例如map、filter

宽依赖

指一个父RDD的Partition会被多个子RDD的Partition所使用，例如groupByKey、reduceByKey等