docker-compose搭建dolphinscheduler(2)

本文详细介绍了如何在DolphinScheduler中封装worker Docker镜像以预设SSH命令和免密登陆,并通过秘钥文件映射实现SSH远程执行命令。此外,还分享了如何设置流程判断和执行Python脚本,以及使用数据源执行SQL。同时,讨论了在Windows服务器上开启SSH服务的方法。
摘要由CSDN通过智能技术生成

上一篇大致介绍了dolphinscheduler搭建和使用,本篇文章记录一下一些其他使用到的细节

1:worker分组的docker镜像封装

因为dolphinscheduler调度器是用worker来执行命令,要执行sql命令很方便,网页端直接选择对应的sql然后连接账号端口,再写入sql语句就可以执行。

但是如果是要到部署线上服务的机器上执行shell命令和Python脚本,就只能ssh远程出来执行,这就需要做免密。

开始准备在docker-compose.yml文件里写入容器启动后命令,但是测试了几次都出现报错,容器启动不成功,可能跟我知识储备不够有关。

于是我准备用第二个方案,就是提前封装一下wocker组的镜像,把ssh命令和执行sudo免密用户先设置好。顺便再装一个busybox用于执行命令。

进入Dockerfile文件所在目录执行docker build -t local/dolphinscheduler:v1 . 注意后面有个点啊

2,秘钥文件映射,方便ssh远程服务器

docker-compose启动容器之后,worker要ssh出来执行命令,就需要提前做好免密,我使用的是秘钥文件映射的方法,这样也方便后期添加服务器。

在物里机指定目录创建 id_rsa 和 known_hosts两个文件,一个用来放key,另外一个用于放远程服务器身份识别证书,要不然第一次ssh需要输入yes

然后修改docker-compose.yml,在

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>