Job、Stage、Task、宽依赖、窄依赖

宽依赖，窄依赖？

宽依赖： 发生shuffle时，一定会产生宽依赖，宽依赖是一个RDD中的一个Partition被多个子Partition所依赖（一个父亲多有儿子），也就是说每一个父RDD的Partition中的数据，都可能传输一部分到下一个RDD的多个partition中，此时一定会发生shuffle

窄依赖： 一个RDD中的一个 Partition最多 被一个 子 Partition所依赖（一个父亲有一个儿子）

宽窄依赖：宽窄依赖的依据是shuffle。

注：Spark中产生宽窄依赖的依据是shuffle，当发生shuffle时，会产生宽依赖，基本上shuffle算子都会产生宽依赖，但是join除外，在执行join算子之前如果先执行groupByKey，执行groupByKey之后，会把相同的key分到同一个分区，再执行join算子，join算子是把key相同的进行join（只是对于k v形式的数据可以使用），不一定会产生shuffle ，有可能发生shuffle，也有可能不发生。

Job、Stage、Task

Job：由一个 rdd 的 action 触发的动作，当需要执行一个 rdd 的 action 的时候，会生成一个 job，一个job生成多个stage。

Stage：stage 是一个 job 的组成单位，就是说，一个 job 会被切分成 1 个或 1 个以上的 stage，然后各个 stage 会按照执行顺序依次执行。而一个stage划分成多个tsak。

目前有两个划分 stage 的依据：

• 当触发 rdd 的 action 时
• 当触发 rdd 的 shuffle 操作时

Task：即 stage 下的一个任务执行单元，一般来说，一个 rdd 有多少个 partition，就会有多少个 task，因为每一个 task 只是处理一个 partition 上的数据。