dolphinscheduler的ProcessDefinition流程分析

最新推荐文章于 2024-04-26 16:54:58 发布
最新推荐文章于 2024-04-26 16:54:58 发布
阅读量497 收藏 1
点赞数
分类专栏： dolphinscheduler 文章标签： java ds
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38094271/article/details/125946857
版权
projects/projectCode/process-definition
/projects/6034950904640/executors/start-process-instance
commandType == 其他
commandType == CommandType.COMPLEMENT_DATA
串行
并行
MasterSchedulerService 根据id%master节点个数
EventExecuteService
Y
N
定义流程
数据库生成taskDefinition,taskRelation以及processDefinition
执行流程
手动执行
定时执行
生成command
并行度/ 开始和结束之间总共次数 选择最小值 作为command的个数+依赖的schedules个数的command
生成自己本身/再生成依赖的schedules个数的command
生成scheduler
获取当前节点的commands
使用CountDownLatch闭锁逻辑将所有commands转换成processInstance
processInstance入库
初始化WorkflowExecuteThread 放入本地缓存
获取需要处理的事件
从缓存中获取
根据StateEventType进行不同的处理
根据告警设置处理告警星弟
运行模式
正常结束 意味着执行到了endprocess
开始
结束
没有腹肌不改名
关注
专栏目录
图说系列：dolphinscheduler的工作流程
子涵先生
11-01 1万+
文章目录一、什么是dolphinscheduler？二、图说dolphinscheduler任务执行过程概念先行流程执行 一、什么是dolphinscheduler？ Apache DolphinScheduler，是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 更多简介信息请查看官网。本文就让我们跟随子涵先生来用图说源码~走你！┏ (゜ω゜)=☞ 二、图说dolphinscheduler任务执行过程 概念先行 为了方便
工作流程引擎：dolphinscheduler详解
GIS摆渡人
07-12 2183
一. 简介 二. 核心 1. 核心能力 1.可视化DAG 1.任务依赖，流程依赖 1.调度高可用，流程可容错，回滚 1.丰富的任务类型 1.任务日志，告警机制 1.补数: 冲刷历史数据 2. 支持平台 1.Shell 1.Sub-Process 1.Peoceduce 1.SQL 1.Spark 1.Flink 1.MR 1.Python 1.Depedence 1.Http 1.DataX 1.Sqoop 1.Conditions 3. 数据源支持 1.MySQL 1.PostGres 1.Hive/Im
DolphinScheduler作业流程
不甚了然的博客
08-05 575
之后第一个任务按正常流程走完，由WorkflowExecuteRunnable的handleEvents处理结束事件，到TaskStateEventHandler当中，走回WorkflowExecuteRunnable的taskFinished，成功和失败都有submitPostNode的调用，这次的输入是结束的任务。submitPostNode当中有工作流任务拆分的过程，在submitPostNode当中，解析DAG图，由于第一次进来parentNodeCode，所以这里只获取到第一个任务。
DolphinScheduler1.3.4流程定义json详细说明
游语
02-27 1846
DS调度是一个分布式易扩展的可视化DAG工作流任务调度系统，它通过工作流将task关联在一起，形成一个有向无环的DAG图，在工作流中流程定义内容显得非常重要。当前版本（1.3.4）DS采用了一个比较笨重的方式存储流程定义内容数据，DS直接将流程定义内容以json的形式存储在t_ds_process_definition表中，存储字段是process_definition_json。(官方已有拆解计划见issue#4417)。由于存储形式是一个比较复杂的json，单独拿到process_definition_
dolphinscheduler核心流程
weixin_39639119的博客
11-02 859
概况 ​ 因为最近公司，要计划做数据中台，而我们要负责做一个 数据开发这一部分，主要功能是将数据加工，因为产品要加入一些业务上定制化的东西，所以目前是将dolphinscheduler进行一个二次开发。下面我会分享dolphinscheduler的整体架构，和一个核心流程。 下面主要会分为三部分： 1 主要架构 2 代码结构 3 任务执行过程的核心流程 版本： Dolphinscheduler-1.3.8-release 主要架构 上图是从官网直接copy过来，是ds的架构图，ds的架构我觉得主要的
Apache DolphinScheduler 2.X保姆级源码解析，中国移动工程师揭秘服务调度启动全流程...
Apache DolphinScheduler开源社区
05-10 489
2022年1月，科学技术部高新技术司副司长梅建平在“第六届中国新金融高峰论坛”上表示，当前数据量已经大大超过了处理能力的上限，若信息技术仍然是渐进式发展，则数据处理能力的提升将远远落后于指数级增长的数据量。因此，在一段时期内，数据处理能力与效率的提升仍将是大数据发展要面对的技术难点。随着5G、物联网等网络信息技术的快速发展以及应用的快速增长，数据量也呈指数级增长，纵观运营...
DolphinScheduler（apache-dolphinscheduler-2.0.6-bin.tar.gz）(已安装过)
07-18
关于DolphinScheduler Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将...
DolphinScheduler【部署 01】分布式可视化工作流任务调度工具DolphinScheduler部署使用实例分享（一篇入门学会使用DolphinScheduler）
最新发布
2401_84264096的博客
04-26 630
dolphinscheduler-master master模块，提供工作流管理和编排服务。dolphinscheduler-worker worker模块，提供任务执行管理服务。dolphinscheduler-alert 告警模块，提供 AlertServer 服务。dolphinscheduler-api web应用模块，提供 ApiServer 服务。dolphinscheduler-common 通用的常量枚举、工具类、数据结构或者基类。
DolphinScheduler任务调度系统-其他
06-13
Apache DolphinScheduler(incubator,原EasyScheduler）是一个大数据分布式工作流任务调度系统，主要解决大数据研发过程中ETL处理错综复杂的依赖关系，而不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式...
ProcessDefinition/ProcessInstance/Execution/Task关系和区别
bobozai86的博客
03-30 5237
ProcessDefinition ： 这个最好理解，就是流程的定义，也就相当于规范。ProcessDefinition也有id，这个id是 {key}-{version}，在部署过程中，会把一个id分配给流程定义。 这个id的格式为{key}-{version}， key和version之间使用连字符连接。 如果没有提供key， 会在名字的基础自动生成。 生成的key会把所...
dolphinscheduler3.x本地启动
猎隼
06-29 4591
海豚调度源码启动以及二次开发。
DolphinScheduler任务调度源码剖析
旺旺的博客
09-22 4413
DolphinScheduler任务调度源码剖析
《任务调度-DolphinScheduler》DolphinScheduler实例表备份、清理
https://blog.datasource.space
09-03 1955
通过` select data into outfile file.txt、load data infile file.txt into table `的方式备份表中全部数据，为什么采用这种备份方案呢？因为我这里只想要备份`t_ds_process_instance`和`t_ds_task_instance`两张表，表数据量达到百万级别，通过文件导入导出的备份效率比较高，用于备份全量数据。
dolphin schedulerAPI调用（二）——创建任务
小白白的博客
03-11 1174
工作流code、项目code、上流节点code等可以在后端是数据库查询，可以在k8s上查看一下起的数据库是mysql还是postgresql，我这边是postgresql，根据values.yaml中配置的账号密码信息登录到数据库，可以查询到code。实际使用中，发现文档写得很不全乎，创建任务的api接口不对，具体的传参文档中也没写全，于是决定直接在前端查看创建任务实际调用的api，以及传递的参数。打开dolphinscheduler的界面，右键，检查，选择network，提交任务，查看api及参数。
DolphinScheduler技术分析（三）
Choozz1的博客
10-24 374
2021SC@SDUSC DophinScheduler dao模块下 实体详细解析 下面来分析一下几个重要实体的内容 1. AccessToken实体主要是用来存放访问令牌的相关数据，该实体属性主要有primary_key（主键）、user_id、token（一串字符）、expire_time（失效时间）、create_time（创建时间）、update_time（更新时间）、userName。 2.alert相关的实体 此实体包含属性有primary_key、title（...
DolphinScheduler 能用 Python 脚本编排工作流了！PyDolphinScheduler 简介与使用演示
Apache DolphinScheduler开源社区
11-07 5161
点亮⭐️Star · 照亮开源之路重要功能介绍2.0.5 版本更新之后，Apache DolphinScheduler 新增了 Python API 功能，用户可以通过 Python 脚本编排工作流，最后实现工作流的创建、更新、调度等操作，这给 Python 用户带来了很多便利。Apache DolphinScheduler 是一个分布式、高扩展性的可视化开源工作流任务调度框架，适用于企业级...
Dolphin scheduler 3.0 windows 编译填坑
liguihe0316的博客
03-28 1600
安装另一台worker, 拷贝worker目录到这台机器就可以, 然后修改conf/application.yaml, conf/common.properties, conf/dolphinscheduler_env.sh. conf/logback-spring.xml中加上<appender-ref ref="STDOUT"/>就可以输出到标准输出窗口。拷贝到 mysql-connector-j-8.3.0.jar /home/dolphinscheduler/worker-server/libs。
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
刘大猫
05-22 2944
dolphinscheduler调度器接入注意事项等信息可参考我的上一篇博客进行了解，地址在这里 -> 一、功能清单 二、执行/停止任务 说明： 大数据平台执行可拖拽spark任务实际实行的是dolphinscheduler调度器中项目下工作流下的某一节点而已，不是执行整个工作流。 共用的依赖 <!--httpclient--> <dependency> <groupId>commons-httpclient</groupId> &l.
DolphinScheduler源码分析
stone_tomcate的博客
05-21 1224
DolphinScheduler源码分析 源码版本 1.2.0 技术框架 所有模块均采用比较流行的SprintBoot框架 架构图 重要概念 流程定义 在DolphinScheduler中，作业的DAG被命名为“流程定义”。 挺不可思议的。 流程实例 流程实例是流程定义的实例化，可以通过手动启动或定时调度生成,流程定义每运行一次，产生一个流程实例。流程实例由Master解析流程定义生成。 任务实例 任务实例是流程定义中任务节点的实例化，标识着具体的任务执行状态。 居然没
java生成dolphinscheduler任务
06-11
import org.apache.dolphinscheduler.dao.entity.ProcessDefinition; import org.apache.dolphinscheduler.dao.entity.ProcessDefinitionVersion; // 创建ProcessDefinitionService对象 ProcessDefinitionService ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值