上一篇大致介绍了dolphinscheduler搭建和使用,本篇文章记录一下一些其他使用到的细节
1:worker分组的docker镜像封装
因为dolphinscheduler调度器是用worker来执行命令,要执行sql命令很方便,网页端直接选择对应的sql然后连接账号端口,再写入sql语句就可以执行。
但是如果是要到部署线上服务的机器上执行shell命令和Python脚本,就只能ssh远程出来执行,这就需要做免密。
开始准备在docker-compose.yml文件里写入容器启动后命令,但是测试了几次都出现报错,容器启动不成功,可能跟我知识储备不够有关。
于是我准备用第二个方案,就是提前封装一下wocker组的镜像,把ssh命令和执行sudo免密用户先设置好。顺便再装一个busybox用于执行命令。

进入Dockerfile文件所在目录执行docker build -t local/dolphinscheduler:v1 . 注意后面有个点啊
2,秘钥文件映射,方便ssh远程服务器
docker-compose启动容器之后,worker要ssh出来执行命令,就需要提前做好免密,我使用的是秘钥文件映射的方法,这样也方便后期添加服务器。
在物里机指定目录创建 id_rsa 和 known_hosts两个文件,一个用来放key,另外一个用于放远程服务器身份识别证书,要不然第一次ssh需要输入yes
然后修改docker-compose.yml,在

本文详细介绍了如何在DolphinScheduler中封装worker Docker镜像以预设SSH命令和免密登陆,并通过秘钥文件映射实现SSH远程执行命令。此外,还分享了如何设置流程判断和执行Python脚本,以及使用数据源执行SQL。同时,讨论了在Windows服务器上开启SSH服务的方法。
最低0.47元/天 解锁文章
1358

被折叠的 条评论
为什么被折叠?



