DolphinScheduler海豚调度教程

DolphinScheduler海豚调度官网
DolphinScheduler海豚调度教程csdn

gitee-海豚调度源码
github-DolphinScheduler海豚调度源码
海豚调度源码分析1
海豚调度源码分析2

DolphinScheduler海豚调度架构设计

知乎：dp源码讲解

1：编译打包问题汇总

在原来的基础上新增了达梦神通、mongdb、hbase等数据源，idea运行没有问题，但是打包部署时报各种jar包问题，进行记录
1、 Cannot find git repository in any parent directory -> [Help 1]
从git仓库下载的代码zip包，没有执行过git init初始化，利用git bash在根目录执行git init 初始化

1.1：内网离线模式打包海豚调度

1：改maven为自己的私有仓库地址
2：本地安装node、npm，前端打包需要
2：将打包过程缺失的依赖从外网下载并导入私有仓库
3：对于前后端一起打包，可将前端单独打包（比如用vs code中执行npm run build:prod），打包后下载所需的node模块各自包，避免前端打包时联网下载失败
4：注释掉ui模块pom.xml中的中的install部分，不去联网下载前端依赖
5：执行打包命令

内网打包部署参考
3.2步骤后面的步骤因为我们私有npm制品库不全所以使用了我步骤中的2-5进行自行下载跳过去制品库下载。

2：调度使用

2.1：文档

官方文档https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8

2.1.3：调度的参数

参数包括内置参数，全局参数，节点间参数传递，本地参数几部分。

1：内置参数

变量名		声明方式			含义
system.biz.date	${system.biz.date}	日常调度实例定时的定时时间前一天，格式为 yyyyMMdd
system.biz.curdate	${system.biz.curdate}	日常调度实例定时的定时时间，格式为 yyyyMMdd
system.datetime	${system.datetime}	日常调度实例定时的定时时间，格式为 yyyyMMddHHmmss

2：全局参数

全局参数是针对整个工作流的

3：本地参数

本地参数用户一个工作流中多个节点之间的参数传递
DolphinScheduler 允许在任务间进行参数传递，目前传递方向仅支持上游单向传递给下游。目前支持这个特性的任务类型有：

Shell
SQL
Procedure
Python

2.2：插件使用

安装dp的时候会在配置文件中配置需要使用插件的安装地址，用于该插件类型任务执行。

2.2.1：datax

DataX 任务类型，用于执行 DataX 程序。对于 DataX 节点，worker 会通过执行 ${DATAX_HOME}/bin/datax.py 来解析传入的 json 文件。
1：环境配置：若生产环境中要是使用到 DataX 任务类型，则需要先配置好所需的环境。配置文件如下：/dolphinscheduler/conf/env/dolphinscheduler_env.sh。