问题描述:
dolphinscheduler集群模式搭建完成后生成默认worker分组
而我想跑一个写好的shell脚本,shell脚本位置在某一台机器上,如果用default worker分组运行某节点任务,dolphinscheduler会在这三台机器上随机指派一台机器运行,就会找不到想要运行的shell脚本。
解决办法
-
在所需跑脚本的机器上创建单独的worker分组。
-
修改指定机器的配置文件,自定义一个worker分组名称
vim /opt/soft/dolphinscheduler/conf/worker.properties
-
修改工作流定义种节点worker分组指派
-
运行工作流的时候可以用default 利用集群资源运行,如果用test,不仅读指派机器,也会在指派机器上执行整条工作流,比如mr计算就会在一台机器上跑。