简单了解spark、flink执行任务过程中的DAG有向无环图

01 什么是DAG？

DAG：Directed Acyclic Graph，中文意为「有向无环图」。

DAG原本是计算机领域一种常用数据结构，因为独特的拓扑结构所带来的优异特性，经常被用于处理动态规划、导航中寻求最短路径、数据压缩等多种算法场景。我们直观点来理解：

这就要从太阳系说起了，了解太阳系的运转方式有利于大家更加直观的了解什么是DAG。

上学时候老师教我们银河系中的星球都是围绕着太阳旋转的，还在课本中生动的附上了一张生动的图。

地理老师通常告诉我们太阳系中的行星都是按照圆轨道围着太阳转的，理论是没错，但这图片是一个环形图，这便误导了很多人。

实际上太阳系中的行星是按照DAG（有向无环图）模式运转的。

相信大家看到这里就应该可以很简单的知道DAG是什么意思了。

DAG模式说白了就是多条链跟随主链，这些链之间大方向相同且不存在环路。

02 如何描述、分解实时计算过程

首先，我们看下大名鼎鼎的 Spark 大数据框架。在 Spark 中，计算步骤是被描述为有向无环图的，也就是我们常说的 DAG (Directed Acyclic Graph)。在 Spark 的 DAG 中，节点代表了数据（ RDD ，弹性分布式数据集），边则代表转换函数。

下面的图 1 是 Spark 将 DAG 分解为运行时任务的过程。我们可以看出，最左边的 RDD1 到 RDD4 ，以及表示这些 RDDs 之间依赖关系的有向线段，共同构成了一个 DAG 有向无环图。

图1

我们可以看到，Spark 是这样将 DAG 解析为最终执行的任务的。首先，DAG 被分解成一系列有依赖关系的并行计算任务集合。然后，这些任务集合被提交到 Spark 集群，再由分配的线程，执行具体的每一个任务。

看完 Spark，我们再来看 Flink。在 Flink中，我们是采用了 JobGraph 这个概念，来描述流计算的过程的。

图2

我们很容易看出，左边的 JobGraph 不就是 DAG 有向无环图嘛！其中 JobVertex A 到 JobVertex D，以及表示它们之间依赖关系的有向线段，共同构成了 DAG 有向无环图。这个 DAG 被分解成右边一个个并行且有依赖关系的计算节点，这相当于原始 DAG 的并行化版本。之后在运行时，就是按照这个并行化版本的 DAG 分配线程并执行计算任务。

我们对 DAG 的概念稍微做些总结。 对于所有的DAG 图，是由两种元素组成，也就是代表节点的圆圈，和代表节点间依赖关系的有向线段。

DAG 有以下两种不同的表达含义。

一是，如果不考虑并行度，那么每个节点表示的是计算步骤，每条边表示的是数据在计算步骤之间的流动。

二是，如果考虑并行度，那么每个节点表示的是计算单元，每条边表示的是，数据在计算单元间的流动。这个就相当于将表示计算步骤的 DAG 进行并行化任务分解后，形成的并行化版本 DAG。

看到这里，我们就可以简单了解DAG 描述流计算过程了。

希望大家可以关注下公众号，会定期分享自己从业经历、技术积累及踩坑经验，支持一下，鞠躬感谢~

关注公众号回复：“资料全集”