DolphinScheduler 任务执行源码流程分析

已于 2022-03-29 17:02:15 修改
阅读量3.9k 收藏 3
点赞数 2
分类专栏： 分布式调度 文章标签： 大数据
于 2022-03-15 15:23:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bwddd/article/details/123503607
版权

一个立即执行的任务会经过

1.将command持久化到 mysql表中

2.MasterSchedulerService 定时扫描表 会将待处理任务进行封装为ProcessInstance

3.遍历进程实例，通过workFlowExecuteThread线程调度执行

4.根据进程实例进行 dag构建，初始化队列，提交任务

5.调用dispatchTask进行服务提交，在提交是会对taskUpdateQueue进行检查 是否初始化，如果没有初始化会先进行初始化然后将任务封装为 TaskPriority 放入队列

6.TaskPriorityqueueueConsumer 不断轮询队列中的数据，接收到dispatcher的TaskPriority, 进行提交

7. 调用Client进行worker的Handler进行处理 -> 这里已经转接给 WorkerServer

具体的流程图：

 

原图看下面链接 

dolphinScheduler | ProcessOn免费在线作图,在线流程图,在线思维导图 |

小雾最秀
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图说系列：dolphinscheduler的工作流程
子涵先生
11-01 1万+
文章目录一、什么是dolphinscheduler？二、图说dolphinscheduler任务执行过程概念先行流程执行 一、什么是dolphinscheduler？ Apache DolphinScheduler，是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 更多简介信息请查看官网。本文就让我们跟随子涵先生来用图说源码~走你！┏ (゜ω゜)=☞ 二、图说dolphinscheduler任务执行过程 概念先行 为了方便
如何控制Dolphinscheduler同一任务不能同时执行多个
luoyuan的博客
01-15 519
本文详细介绍了如何控制Dolphinscheduler同一任务在同时刻不能同时执行多个，列举了详细过程以及代码
DolphinScheduler作业流程
不甚了然的博客
08-05 547
之后第一个任务按正常流程走完，由WorkflowExecuteRunnable的handleEvents处理结束事件，到TaskStateEventHandler当中，走回WorkflowExecuteRunnable的taskFinished，成功和失败都有submitPostNode的调用，这次的输入是结束的任务。submitPostNode当中有工作流任务拆分的过程，在submitPostNode当中，解析DAG图，由于第一次进来parentNodeCode，所以这里只获取到第一个任务。
Dolphinscheduler Master 核心执行流程源码分析
小崔的博客
07-20 329
例如 shell、python 这类通用任务会选择默认任务处理器 CommonTaskProcessor，这类任务提交后 Master 无需其他操作，直接派发到 worker 执行，而 dependent 任务选择 DependentTaskProcessor，这类任务仅需要 Master 判断依赖的任务是否执行成功，而无需派发到 worker 节点执行。其中 workflowEventHandlerMap 在程序启动时初始化。任务处理器插件 TaskProcessor 实现方式。
Apache DolphinScheduler v2.0.1 Master 和 Worker 执行流程分析系列（二）
Apache DolphinScheduler开源社区
11-14 963
点亮⭐️Star · 照亮开源之路GitHub:https://github.com/apache/dolphinscheduler这是一系列关于 DolphinScheduler v2.0.1的源码分析文章，包括对 Master、Worker 基本原理、Master 提交执行、Worker 接受执行、 command 解耦、command 唯一消费实现原理、kill执行分析等在内的深度解...
dolphinscheduler v2.0.1 master和worker执行流程分析（四）
qq_37706484的博客
10-08 820
dolphinscheduler v2.0.1 worker执行分析
Apache DolphinScheduler Worker Task执行原理解析
最新发布
Apache DolphinScheduler开源社区
07-25 1116
Apache DolphinScheduler是一个分布式、易扩展的可视化工作流调度开源系统，适用于企业级场景。它提供了以下主要功能，通过可视化操作，提供了工作流和任务全生命周期的数据处理解决方案。白鲸开源是一家开源原生的 DataOPS 商业公司，由多个Apache基金会成员创立。公司主要参与贡献了两个Apache开源项目，一个是Apache DolphinScheduler，另一个是Apache SeaTunnel。基于这两个项目，我们打造了一个商业产品——WhaleStudio。
DolphinScheduler整体工作流程、工作逻辑及工作模块全面解析
qq_50740678的博客
10-27 4890
2021SC@SDUSC 文章目录一、总体分析——提纲挈领1.从服务提供的服务看DolphinScheduler模块设计二、实机演示——百闻一见三、代码解读——由浅入深 P.S:  作为对文章内容的补充以及为读者理解整个DophinScheduler体系提供帮助，请允许我在此附上本人对所负责的ui部分和server部分代码结构的分析博客链接： DolphinScheduler ui部分 代码机构全解析 DolphinScheduler server部分 代码机构全解析 一、总体分析——提纲挈领 1.从
dolphinscheduler3.18源码包+Helm v3.12.3二进制安装包
09-14
4. **插件机制**：Dolphinscheduler支持自定义任务类型，源码中会涉及到任务插件的加载和执行过程，这对于开发新的数据处理任务非常有帮助。 接下来，我们关注Helm 3.12.3的二进制安装包。Helm是Kubernetes的包管理...
DolphinScheduler+海豚
03-04
当在DolphinScheduler中配置Hive作为数据源时，若Hive Jar包版本与当前集群的Hive版本不符，将会导致数据源连接失败，进而影响到后续的ETL作业或数据分析任务的正常执行。因此，确保DolphinScheduler使用的Hive Jar...
DolphinScheduler任务调度系统 v1.3.5-源码.zip
02-26
《DolphinScheduler任务调度系统 v1.3.5 源码解析》 DolphinScheduler是一款开源的工作流调度系统，专为大数据任务设计，旨在解决数据处理过程中的复杂工作流调度问题。其v1.3.5版本的源码分析将为我们深入理解其...
DolphinScheduler任务调度系统 v2.0.9.zip
03-21
在DolphinScheduler中，任务间的依赖关系可以灵活设置，支持上下游任务的顺序执行、并行执行，以及基于数据的依赖，使得整个工作流的执行更加智能化和自动化。 4. **任务调度策略**： 提供多种调度策略，如时间...
源码解析-- DolphinScheduler master server流程执行过程分析
penriver的博客
03-10 2311
海豚调度dolphinscheduler目前是Apache顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。 海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统 本文会包含如下内容： master server 流程执行过程分析 本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师 本文以海豚1.3.5的源代码进行分析。 1. 相关概念 相关概念部分请看官方文档 流程定义：通过拖拽任务节点并建立任务节点的关联..
dolphinscheduler核心流程
weixin_39639119的博客
11-02 848
概况 ​ 因为最近公司，要计划做数据中台，而我们要负责做一个 数据开发这一部分，主要功能是将数据加工，因为产品要加入一些业务上定制化的东西，所以目前是将dolphinscheduler进行一个二次开发。下面我会分享dolphinscheduler的整体架构，和一个核心流程。 下面主要会分为三部分： 1 主要架构 2 代码结构 3 任务执行过程的核心流程 版本： Dolphinscheduler-1.3.8-release 主要架构 上图是从官网直接copy过来，是ds的架构图，ds的架构我觉得主要的
dolphinscheduler v2.0.1 master和worker执行流程分析（三）
qq_37706484的博客
10-08 2046
dolphinscheduler v2.0.1 master执行分析
DolphinScheduler Master Worker 任务源码过程分析
bwddd的博客
03-29 2574
dolphinScheduler 中任务的执行是通过 Master 与 Worker 协作完成。 Master 负责任务的构建，host选择 最终将任务分发在具体的Worker机器上面 一个任务的运行他们都做了哪些事情呢？ 这里根据源码简单进行了流程分析。 1. master -> task_execute_request -> worker 2.worker -> handler(task_execute_request) -> task_ack -> master
Apache DolphinScheduler 源码解析-任务生命周期（1）
qq_32613771的博客
03-18 1538
ApacheDolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度平台。本篇对 Apache DolphinScheduler 调度平台从源码上解析任务从创建，构建，分发，执行，结束五个阶段的处理，涉及 Api-Server，Master-Server，Worker-Server三个服务。 ApacheDolphinScheduler 官网: https://dolphinscheduler.apache.org/ github: https://g...
dolphin scheduler（三）
m0_48187193的博客
03-06 792
@TOC 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib...
源码解析-- DolphinScheduler-Worker负载均衡算法细述
penriver的博客
03-04 2240
海豚调度dolphinscheduler目前是Apache顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。 海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统 本文会包含如下内容： 海豚调度提供的负载均衡算法 如何获取worker的负载信息（lowerweight算法使用） 本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师 本文以海豚1.3.5的源代码，分析如何搭建调试环境。 1. Worker提供的负载..
dolphinscheduler源码分析
08-30
对于DolphinScheduler的源码分析，我可以给你一些大致的指导。DolphinScheduler是一款开源的分布式任务调度系统，主要用于大数据领域的任务调度和数据处理。它采用了分布式架构，支持高可用性和高可扩展性。 首先，你可以从DolphinScheduler的GitHub仓库中获取源代码：https://github.com/apache/incubator-dolphinscheduler 在源码中，你可以先从入口开始分析，主要涉及到的类是`org.apache.dolphinscheduler.server.master.MasterServerApplication`和`org.apache.dolphinscheduler.server.worker.WorkerServerApplication`，它们分别是Master节点和Worker节点的入口。 从Master节点入口开始，你可以深入了解Master节点的整体架构和实现。一些关键的类包括`org.apache.dolphinscheduler.server.master.MasterSchedulerService`、`org.apache.dolphinscheduler.server.master.runner.MasterSchedulerThread`和`org.apache.dolphinscheduler.server.master.cache.ScheduleService`等。 在Worker节点方面，你可以关注`org.apache.dolphinscheduler.server.worker.runner.WorkerManager`、`org.apache.dolphinscheduler.server.worker.runner.WorkerExecProcessor`和`org.apache.dolphinscheduler.server.worker.cache.LocalTaskCacheManager`等类，它们负责Worker节点的任务执行和管理。 此外，还有一些其他重要的模块需要进行源码分析，比如任务调度算法、任务执行环境配置、任务依赖处理、日志管理等。 在进行源码分析时，你可以结合官方提供的文档和注释，以及各个类和方法的调用关系来理清思路。可以通过IDE的调试功能和日志输出来帮助你更好地理解源码的执行流程和逻辑。 总体来说，DolphinScheduler的源码分析需要一定的时间和精力，建议你先对整体架构和关键模块有一个整体的了解，然后再深入到具体的实现细节。希望这些信息对你有所帮助，祝你顺利进行源码分析！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值