DolphinScheduler——工作流实例的生命周期

吵吵叭火

已于 2024-02-28 21:50:34 修改

阅读量786

点赞数 15

分类专栏：任务调度文章标签：数据仓库大数据

于 2024-02-28 20:30:33 首次发布

本文链接：https://blog.csdn.net/SHWAITME/article/details/136355143

版权

任务调度专栏收录该内容

6 篇文章 1 订阅

订阅专栏

一、DolphinScheduler架构原理

1.1 系统架构图

1.2 DolphinScheduler核心概念

该篇文章主要介绍DolphinScheduler-3.2.0工作流实例的工作周期

一、DolphinScheduler架构原理

1.1 系统架构图

在介绍之前，先对架构进行简单介绍。

内部服务主要分为四个部分：

（1）API服务，用于与UI交互；

（2）用于告警通知的Alert服务；

（3）主节点（master）和工作节点（worker）是去中心化的，可以部署多个Master和多个Worker，它们可以分布在不同的位置并独立工作。

（4）工作流运行在Master节点上，具体的任务节点在 Worker 节点上运行，例如 shell、Python、Flink 和 Spark 等任务节点。

1.2 DolphinScheduler核心概念

为更好的了解DolphinScheduler ,先介绍其核心概念：

Process（工作流）：由任务以有向无环图形式构成，执行时解析一个工作流为多个任务，可设置工作流优先级，工作执行全局参数、超时告警；
Task（任务）：调度执行的最小单元，包含Shell、Spark、Flink、Sql、MR等多种类型。可设置任务执行优先级、任务执行参数、超时告警、超时失败；
Command（待调度指令）：工作流经手动调度或定时调度生成的数据，存储在数据库DB中；
Instance（任务实例）：任务执行后，会生成相应的实例，记录执行时任务的状态及执行内容，任务实例可查看下载日志；
Master（调度服务）：提供对工作流手动调度、定时调度、超时告警、任务容错、任务执行监控等功能；
Worker（运行服务）：解析工作流，识别任务类型，调用对应任务类型的逻辑，生成任务实例；
Alert（告警服务）：可通过Email、FTP、微信等多种方式，告知工作流、任务执行结果。

下面具体展示调度任务的创建、被调度执行的过程：

根据具体的业务需求，通过Web界面以DAG形式创建工作流，生成Process并落库；
手动调度或定时调度生成待调度指令Command，存储在数据库DB中；
Master监听读取Command记录，解析后动态分配至Worker，选择对应的任务类型执行；
Worker执行完成后，生成Process Instance（工作流实例）、Task Instance（任务实例）并落库；
Alert告警模块监听Instance实例，通过Email等发送任务执行结果。

1.2 创建工作流

1.2.1 如何触发一个工作流实例

接下来，让我们看看如何创建工作流实例。

简单来说，我们可以通过页面、客户端或命令行等方式触发工作流实例的启动。不管是通过页面运行、使用客户端提交还是运行数，系统都会创建一条待调度指令Command，并先存储在数据库中，然后Master进行异步轮询处理，每个 Master 会根据自己的下标来获取需要自己处理的 Command，并将Command转化为工作流实例。

1.2.2 任务调度链路监控

为了保障调度任务的稳定性，有必要对任务调度的生命周期进行监控。DolphinScheduler服务调度任务的全流程是先从quartz中产生Command，然后将Command转化为工作流实例，再从工作流实例生成一系列对应的任务实例，需要对该任务链路的生命周期进行监控。

（1）例如：通过监控quartz元数据，发现漏调度和重复调度问题。

（2）例如：监控command表积压情况，从而监控master是否服务正常，以及master服务的性能是否能够满足需求

（3）例如：通过监控任务实例等待提交时间，从而监控worker服务是否正常，以及worker服务的性能是否能够满足需求。

通过如上的全生命周期监控，可以及时发现worker服务的性能问题，尽早解决，避免影响到用户调度服务。

1.2.3 Workflow-DAG解析

DAG解析

此时，Master 就开始对工作流实例进行处理，这涉及到DAG解析的三个步骤：①DAG 构建、②任务数据初始化、③任务节点提交。

①DAG构建的目的是获取一个工作流节点的拓扑图，具体取决于任务节点的设置和状态。②数据初始化的处理是当工作流实例重跑或容错的场景下，此时需要加载一些历史数据，并跳过已成功执行的任务。③提交任务节点，根据DAG拓扑图，开始从 DAG 中获取下一个要提交的任务节点，并将其提交到任务队列中，最后将其分发Worker节点执行。当处理完任务实例后，会从DAG拓扑继续找出它的下游节点，提交分发，循环处理直到整个DAG运行完成。