初始spark(三)之宽窄依赖以及stage的划分

一：宽窄依赖的概念

提起spark中涉及到的RDD，那么我们也会很容易的想到的问题是，RDD的一系列操作转化操作，转化操作其实就是将一个RDD转化为另一个RDD，那么在产生新的RDD和旧的RDD的关系就属于依赖关系，而RDD之间的依赖关系可以分为宽依赖和窄依赖两种依赖关系。

窄依赖：具体的含义是指父RDD和子RDD之间的partition之间属于一对一的关系。也可以认为一个父RDD的partition对应一个子RDD。并且还有一个特性是父RDD与子RDD之间没有发生shuffle。

宽依赖：具体的含义是指，父RDD与子RDD之间的partition之间是一对多的关系。与窄依赖关系不同的是，父RDD与子RDD之间则会产生shuffle。

二：Stage

说起RDD之间的依赖关系之后，自然便会讲到Stage了，因为Stage的划分便是根据依赖关系划分的

Stage的概念：spark任务根据RDD之间的依赖关系，首先会形成一个有向无环图DAG，DAG会被提交给DAGScheduler任务调度器，DAGScheduler会将DAG根据RDD之间的宽窄依赖关系划分为多个stage。划分的条件是，只要遇到宽依赖就会被划分为一个stage，在每

个stage中会有一个或者多个task。并且这些任务会以一系列的taskSet提交给TaskScheduler执行。

这里提到了一些概念：

Task（任务）：单个分区数据集上的最小处理流程单元

TaskSet（任务集）：有一系列的关联的，但是互相之间没有发生shuffle的task组成的任务集

Stage（调度阶段）：一个任务集对应的调度阶段

Job（作业）：由一个RDD的action操作生成的一个或者多个调度阶段组成的一次计算作业

Application（应用程序）：Spark应用程序，由一个或者多个作业组成

他们之间的关系如下图所示：