Spark构建DAG（有向无环图）

---

前言

有向无环图（Directed Acyclic Graph, DAG）是一个图论数据结构。如果一个有向无环图从任意顶点出发经过若干条边都无法回到该顶点，则这个图是一个有向无环图。

---

一、构建RDD有向无环图

RDD(Resilient Distributed DateSets)弹性分布式数据集

Spark应用初始化并通过SparkContext函数读取输入数据生成第一个RDD后，后续操作就是通过RDD算子对RDD进行一次又一次的变换得到计算结果。因此，一个Spark应用可以看做一个由“RDD创建”到”一系列RDD转换操作“再到”RDD存储“的过程。在执行过程中，每个RDD自身是不可变的，每一次操作是将一个RDD转化为另一个新的RDD。为了完成完成转换过程，Spark会构建出一个RDD有向无环图。

每一个RDD都可以根据RDD有向无环图查找到自己父RDD的依赖，进而找到最原始的RDD。Spark是一个分布式计算系统，就不可以避免存在某个节点宕机、数据传输丢失等情况。当发生这些问题时，Spark采用的容错机制是RDD在RDD有向无环图上的依赖关系。当某个RDD出现问题，Spark根据依赖关系找到上级RDD重新计算即可以恢复该RDD。

Spark采用的是延迟处理或是惰性计算，当遇到行动算子时才会触发操作，将行动算子之前的所有算子操作形成一个有向无环图的作业（Job）提交到集群中申请作业处理。这样的好处是操作序列可以进行连续计算，减少中间结果存储空间。

二、RDD有向无环图拆分

一个有向无环图作业包含多个作业
Spark应用程序会生成多个作业提交到Spark集群中进行处理。作业并不是应用被拆分的最小计算单元，Spark集群收到作业后会对作业进行切分和规则，进行相应调度。第一步将作业按照RDD转换操作切分为最小处理单元，即任务（Task）。第二步是对任务进行规划，生成包含多个任务的阶段（Stage）。这两步的都是由DAGScheduler实例生成。

Spark进行计算每一个RDD数据单元时是可以被切分为更小的数据块在不同的节点中处理，在不同节点的数据块就是分区（Partition）。在RDD转换过程汇总，就是以分区为最小单元进行处理的。

由于RDD存在父子依赖关系，在RDD间进行转换的分区对应关系不同。RDD间依赖分为两种类型：窄依赖和宽依赖。

宽依赖：父RDD的一个分区，在RDD转换过程中，最多被一个子RDD的分区使用。

宽依赖：父RDD的一个分区，在RDD转换过程中，会被多个子RDD的分区使用。

三、 DAGScheduler

DAGScheduler会遍历RDD有向无环图，将整个依赖链划分为多个Stage阶段，每个Stage内部都是一组相互关联。但彼此之间没有Shuffle依赖关系的任务集合，称为任务集（TaskSet），每个TaskSet包含多个任务。

DAGScheduler会根据分区的个数，来具体确定会生成多个个任。一个分区对应一个任务，每个Task会在对应的数据分区上进行一系列的数据处理，同一阶段的执行是并行执行的。

四、 Task调度

DAGSheduler将建立好的TaskSet提交给TaskScheduler后，DAGSheduler只是完成将作业的有向无环图分割为Stage，并生成一个Stage执行的有序计算序列。而TaskScheduler真正决定了Stage中的每个Task由哪个物理节点执行。

流程图

TaskScheduler会为每一个收到的Task创建一个TaskSetManager。由TaskSet
Manager负责TaskSet中Task的调度工作和维护整个TaskSet的生命周期，但是TaskSetManager并不直接与底层物理节点交互工作。而是通过SchedulerBackend与底层的Master、Worker节点进行通信。

TaskScheduler将Task提交给Spark集群后还会跟踪Task执行情况，如果Task提交失败，它会负责尝试重新提交该Task。

五、 Task执行

TaskScheduler在集群中选择的Worker节点需要满足两个条件：①Worker节点内存必须大于程序设定的executor-memoy大小；②Worker节点的内核数必须大于程序设定的executor-core数。

满足条件的Worker节点会为每一个程序独立启动一个Executor进程，由该Executor进程全权负责Task任务，在每一个Workder节点可以启动多个Executor进行来满足多个应用程序的请求，而每个Executor进程都是单独运行在Worker节点一个JVM进程中。每个Task则是运行在Executor中的一个线程。

任务状态上报机制

1. Executor收到任务后，尚未完成对Task执行任务，此时Task的状态为RUNING。
2. 如果Task运行过程中发生错误，此时，Task的状态将被标记为FAILED，Executor会将错误的原因进行上报。
3. 如果Task在中途被人为或者其他原因Kill掉，此时，Task的状态将被标记为KILLED，Executor会将kill的原因上报给TaskScheduler。
4. 如果某个Executor进程的Task完成计算，此时，Task的状态为FINISHED，该Executor经常就会将结果进行保存，并将结果及状态信息反馈给TaskScheduler，并等待TaskScheduler为其分配下一个Task任务。