dolphinscheduler 记录

胖胖胖胖胖虎

已于 2023-06-07 15:12:06 修改

阅读量503

点赞数

分类专栏：大数据组件文章标签：大数据

于 2022-04-13 18:06:58 首次发布

本文链接：https://blog.csdn.net/qq_15138049/article/details/124150998

版权

大数据组件专栏收录该内容

30 篇文章 1 订阅

订阅专栏

在这里插入图片描述

### ds源码
tar -zxvf apache-dolphinscheduler-2.0.5-src.tar.gz
cd apache-dolphinscheduler-2.0.5-src/docker/docker-swarm
### 下载ds镜像
docker pull dolphinscheduler.docker.scarf.sh/apache/dolphinscheduler:latest
docker-compose up -d

dockerfile

FROM dolphinscheduler.docker.scarf.sh/apache/dolphinscheduler:latest
ADD mysql-connector-java-8.0.28.jar /opt/dolphinscheduler/lib


#####
docker build -f dockerfile -t dolpinscheduler:mysql .

docker run -d --name dolphinscheduler -e DATABASE_HOST="172.16.34.122" -e DATABASE_PORT="3306" -e DATABASE_DATABASE="dolphinscheduler" -e DATABASE_USERNAME="root" -e DATABASE_PASSWORD="123456" -e ZOOKEEPER_QUORUM="172.16.34.121:2181"  --env-file config.env.sh  -p 12345:12345 dolphinscheduler:mysql all

在这里插入图片描述
admin / dolphinscheduler123

apache dolpinsheduler 定时配置

在这里插入图片描述
编辑定时

在这里插入图片描述

参数配置
在这里插入图片描述

在这里插入图片描述

jdbc连接参数

{
    "useSSL":"false",
    "useUnicode":"true",
    "characterEncoding":"UTF-8",
    "autoReconnect":"true",
    "zeroDateTimeBehavior":"convertToNull",
    "serverTimezone":"Asia/Shanghai",
    "allowPublicKeyRetrieval":"true"
}

在这里插入图片描述

奇怪的问题

helm k8s 部署海豚：更改元数据mysql 存储（默认是pgsql），
1）只添加 mysql-connector-java-8.0.28.jar 到 dolphinscheduler/lib ，externalDatabase driver：com.mysql.jdbc.Driver ，但是添加mysql 数据源报：Failed to load driver com.mysq.cj.jdbc.Driver in either of HikariConfig class loader or ...

2）只添加 mysql-connector-java-8.0.28.jar 到 dolphinscheduler/lib ，报： Cannot load driver class: com.mysql.jdbc.Driver
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
同时添加8.0.28 | 5.1.47…处理了，奇怪的问题！

dolphinscheduler 时间参数

（一）、用户自定义参数：${参数名称}
（二）、用户自定义时间参数：$[yyyyMMddHHmmss]，可以是任意组合$[yyyy-MM-dd HH:mm:ss]
（三）、系统时间参数（补数据的时候需要使用）：

（一）、add_months()加减月份，加减12月就是年份，格式可以说yyyyMMdd，yyyyMM，yyyy

后 N 年：$[add_months(yyyyMMdd,12*N)]
如：$[add_months(20220624,12*2)]  结果：20240624
前 N 年：$[add_months(yyyyMMdd,-12*N)]
如：$[add_months(20220624,-12*2)] 结果：20200624
后 N 月：$[add_months(yyyyMMdd,N)]
如：$[add_months(20220624,2)]     结果：20220824
前 N 月：$[add_months(yyyyMMdd,-N)]
如：$[add_months(20220624,-2)]    结果：20200424

（二）、直接±指的是加减天数，加减7天就是一周，格式可以说yyyyMMdd，yyyyMM，yyyy

后 N 周：$[yyyyMMdd+7*N]
如：$[20220624+7*2]    			  结果：20220708
前 N 周：$[yyyyMMdd-7*N]
如：$[20220624-7*2]    			  结果：20220610
后 N 天：$[yyyyMMdd+N]
如：$[20220624+2]    			  结果：20220626
前 N 天：$[yyyyMMdd-N]
如：$[20220624-2]    			  结果：20220622

（三）、时分秒±是加减也是天，天除以24小时，前面的就算小时，再除以60表示分钟

后 N 小时：$[HHmmss+N/24]
如：$[14:34:30+2/24]    		      结果：16:34:30
前 N 小时：$[HHmmss-N/24]
如：$[14:34:30-2/24]    		      结果：12:34:30
后 N 分钟：$[HHmmss+N/24/60]
如：$[14:34:30+2/24/60]    		  结果：14:36:30
前 N 分钟：$[HHmmss-N/24/60]
如：$[14:34:30-2/24/60]    		  结果：14:32:30

（四）、即使格式只是yyyy，yyyyMM，±也是天数的加减，yyyy，yyyyMM只是输出格式时分秒类似

前N天的年月：$[yyyyMM-N]
如：$[202206-1]  				  结果：202206
当前系统时间20220624，结果为20220623，小心跨月，年，如20220701，结果就是202206
前N分钟时分：$[HHmm-N/24/60]
如：$[14:34-2/24/60]    		      结果：14:32

（五）、补数据使用的参数

${system.biz.date} : 日常调度实例定时的定时时间前一天，格式为 yyyyMMdd，补数据时，该日期 +1
${system.biz.curdate} : 日常调度实例定时的定时时间，格式为 yyyyMMdd，补数据时，该日期 +1
${system.datetime} : 日常调度实例定时的定时时间，格式为 yyyyMMddHHmmss，补数据时，该日期 +1

https://blog.csdn.net/xionglangs/article/details/125444442