Dolphinscheduler海豚调度源码解析

最新推荐文章于 2024-04-29 10:40:41 发布
最新推荐文章于 2024-04-29 10:40:41 发布
阅读量851 收藏 1
点赞数
文章标签： 前端 数据库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/myazhe0ci3/article/details/129709761
版权

DataAnalysisController数据分析控制器

在这里插入图片描述

首页任务状态控制层代码

在这里插入图片描述

对应前端

在这里插入图片描述

首页流程状态统计控制层代码

在这里插入图片描述

前端页面

在这里插入图片描述

流程定义统计：用户统计 控制层代码

在这里插入图片描述

前端页面

在这里插入图片描述

项目管理模块

数据库结构

在这里插入图片描述

项目管理控制层

在这里插入图片描述

  1. 创建项目在这里插入图片描述
  2. 更新项目
    在这里插入图片描述
  3. 根据项目的code去查询项目的详情
    在这里插入图片描述
  4. 项目分页查询
    在这里插入图片描述
  5. 删除项目
    在这里插入图片描述

前端页面

在这里插入图片描述

数据源中心管理模块

表结构

在这里插入图片描述

核心源码

分三块：

1.数据源界面增删改查 api模块

数据源controller层
org/apache/dolphinscheduler/api/controller/DataSourceController.java
数据源impl层 org.apache.dolphinscheduler.api.service.impl.DataSourceServiceImpl
数据源dao层
org.apache.dolphinscheduler.dao.mapper

  1. 创建数据源在这里插入图片描述
  2. 修改数据源
    在这里插入图片描述
  3. 数据源详情
    在这里插入图片描述
  4. 数据源分页在这里插入图片描述
  5. 删除数据源
    在这里插入图片描述

在这里插入图片描述

2.数据源插件初始化 datasource-plugin模块 spi模块

在这里插入图片描述

3.数据源被任务应用 task-plugin模块

在这里插入图片描述

工作流定义模块

数据库结构

在这里插入图片描述

工作流控制层

MyAzhe0ci3
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
dolphinscheduler、调度平台工具、监控工具、大数据监控、数据调度、小海豚、开源调度平台、页面化调度工具
01-17
大数据平台调度工具、大数据、小海豚、海豚、dolphinscheduler、ds、大数据开源工具、调度平台、调度工具、大数据监控、流程化、工作流、hadoop、spark、数据采集、数据监控
dolphinscheduler-数据质量-源码分析
windydreams的专栏
11-24 3651
dolphinscheduler数据质量源码分析
收藏假期干货：Apache DolphinScheduler源码分析系列（超详细）
Apache DolphinScheduler开源社区
09-29 3608
01引言Apache DolphinScheduler官方文档地址：https://dolphinscheduler.apache.org/zh-cn/index.htmlApache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。其原理图如下：接下来，本文一步一步详细地...
DolphinScheduler+海豚
03-04
DolphinScheduler+海豚
海豚调度，dolphinscheduler-data-quality-dev-SNAPSHOT最新版本3.1.1
11-25
DolphinScheduler(海豚调度) dolphinscheduler-data-quality-dev-SNAPSHOT数据质量jar包 添加配置信息：<server-name>/conf/common.properties data-quality.jar.name=dolphinscheduler-data-quality-dev-SNAPSHOT.jar 这里的data-quality.jar.name请根据实际打包的名称来填写, 如果单独打包data-quality的话，记得修改包名和data-quality.jar.name一致。 如果是老版本升级使用，运行之前需要先执行sql更新脚本进行数据库初始化。 如果要用到MySQL数据，需要将pom.xml中MySQL的scope注释掉 当前只测试了MySQL、PostgreSQL和HIVE数据源，其他数据源暂时未测试过 Spark需要配置好读取Hive元数据，Spark不是采用jdbc的方式读取Hive
新一代大数据工作流任务调度系统DolphinScheduler源码分析
08-02
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统，致力于“解决大数据任务之间错综复杂的依赖关系，整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ? DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler，掌握DolphinScheduler调度使用势在必行，抓住新技术机遇，为跳巢涨薪做好准备。 优秀的框架都是有大师级别的人写出来的，包含了很多设计思想和技术。DolphinScheduler也不例外，它是一个非常优秀的框架，用到很多技术和设计思想，本课程会带大家深入DolphinScheduler框架源码，包括设计的思想和技术都会讲解，DolphinScheduler源码很多，会按照模块进行讲解，学习完课程后，不仅可以熟悉DolphinScheduler使用，而且可以掌握很多优秀的设计思想和技术，给自己的技术带来很大提升，为跳巢涨薪做好准备。
DolphinScheduler2.0.6海豚调度本地源码环境搭建
L
03-02 1146
install的时候，默认会执行test，但是本地install不需要执行test，需要关闭test功能。比如报错如下：ClassNotFoundException: org.jacoco.agent.rt.internal_035b120.Offline。需要提前安装好数据库，这里选用MySQL。修改根项目中pom.xml，将mysql-connector-java依赖的scope修改为compile。可能是Zookeeper未启动，启动Zookeeper后，再启动对应的服务。
源码编译 DolphinScheduler 1.3.9 海豚调度，修改Hadoop、Hive组件版本兼容
想练武，就得下功夫
06-23 1223
源码编译 DolphinScheduler 1.3.9 海豚调度，修改Hadoop、Hive组件版本兼容
DolphinScheduler任务调度源码剖析
旺旺的博客
09-22 3746
DolphinScheduler任务调度源码剖析
海豚调度Dolphinscheduler源码分析（三）
Mrerlou的博客
09-27 1904
今天继续分析海豚调度的源码 上回分析的是dolphinscheduler-service模块zookeeper相关的代码 这回分析是dolphinscheduler-server模块zookeeper相关的代码 ZkMasterClient master服务zk客户端类 类继承的关系如下： 这个类的方法如下： 方法介绍： start()根据路径dolphinscheduler/...
DolphinScheduler任务调度系统 v1.3.3
11-25
为您提供DolphinScheduler任务调度系统下载，Apache DolphinScheduler(incubator,原EasyScheduler）是一个大数据分布式工作流任务调度系统，主要解决大数据研发过程中ETL处理错综复杂的依赖关系，而不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。设计特点：一个分布式
dolphinScheduler海豚调度器动态传递任务执行参数
02-23
dolphinScheduler海豚调度器通过设定参数值动态传参，让整个任务流都可以接收到任务参数，方便大批量补采数据任务时无需手动修改每个任务节点的任务执行参数，只需要在入口处对该参数进行修改，然后运行即可。 举例说明： 每个任务执行内容为 python3 aaa.py ${date_str}，其中date_str是来自于linux脚本获取的日期，如果需要重新手动执行该任务时，需要将每个任务节点的date_str手动修改为具体的日期字符串，这样显然非常麻烦，通过本文的动态传递参数的方法，只需要修改最开始传递的变量参数，即可让后续所有任务接收到指定的任务参数值，极大地解放生产力！
dolphinScheduler调度.rar
06-17
CSDN 同款 1.3.4 https://blog.csdn.net/cs261244787/article/details/117987373
海豚调度器3.1.8-dolphinscheduler-3.1.8-bin.tar
11-13
海豚调度器apache-dolphinscheduler-3.1.8-bin.tar，可自由下载比官网快
SpringBoot项目打包分离高阶操作
Record Little
04-23 730
虽然传输jar包 比较大，但是安全性、稳定性比较高，不需要关注pom.xml 添加了新的依赖、更新了版本号等等影响版本功能的操作。关注maven的特性， profiles即可满足， 根据不同的activation 状态，激活不同的build操作。每次修改一小部分代码或仅仅更新某个依赖jar包时，都需要重新进行整个项目的构建、打包、上传和部署。但是当你的项目趋于稳定，只有业务上的逻辑变更时，如果使用分离版本，可以加快迭代、更新的速度。弊端： 需要配置IDE命令，修改依赖时需要同时修改2处。
判断前端入参是否空否则提示前端写法
qq_39306234的博客
04-28 163
前端先声明一个变量，用于alert判断。在templeat中定义一个提示语句。然后在点击事件时判断一下是否展示。
前端调用WebSocket协议接口获取数据
最新发布
m0_56023096的博客
04-29 144
createWs("测试数据", (res) => {
两个前端标签
ma_no_lo的博客
04-24 152
两个前端标签
docker部署前端项目（二）遇到的问题
weixin_45379180的博客
04-25 384
原因： 安装docker的时候使用的是 yum -y install docker 命令，这个命令安装的是老版本。报错四：conflicts with file from package docker-common。因为使用 sudo yum install docker （下载到的是旧版）missing signature key 缺少秘钥。yum remove docker 删除docker。1、docker版本号 只有1.13.1。解决：可能是docker 未启用。
dolphinscheduler是海豚嘛
06-11
是的，DolphinScheduler的名字中的"Dolphin"翻译成中文就是海豚。这个名字的含义和项目的宗旨有关，海豚是一种聪明、灵敏、友好的海洋动物，而DolphinScheduler也旨在为大数据生态圈提供一种智能、高效、易用的任务调度系统，帮助用户更好地管理和运行各种大数据任务。因此，选择"Dolphin"作为项目名字也是一种寓意。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值