DolphinScheduler集群 任务一直运行,不成功也不失败

问题:
DolphinScheduler运行任务,但是任务一直在运行状态,该任务不成功也不失败,任务状态一直显示在运行中,且在任务实例无法查看日志

问题定位及原因:
当DolphinScheduler的监控中心页面上的,Worker主机结点并非是bin/env/install_env.sh下定义的ip地址,则会导致Worker结点并非指定的机器结点,从而导致无法接受到任务执行中或者结果的任何状态

解决:
修改bin/env/install_env.sh下的 ips地址 和 worker结点的ip地址,最好直接使用ip地址的方式编辑,而不是通过/etc/hosts文件映射ip地址名,这便于发现问题

# Example for hostnames: ips="ds1,ds2,ds3,ds4,ds5", Example for IPs: ips="192.168.8.1,192.168.8.2,192.168.8.3,192.168.8.4,192.168.8.5"
ips=${ips:-"172.xx.xxx.200,172.xx.xxx.201,172.xx.xxx.202,172.xx.xxx.203,172.xx.xxx.204,172.xx.xxx.205"}

# Port of SSH protocol, default value is 22. For now we only support same port in all `ips` machine
# modify it if you use different ssh port
sshPort=${sshPort:-"22"}

# A comma separated list of machine hostname or IP would be installed Master server, it
# must be a subset of configuration `ips`.
# Example for hostnames: masters="ds1,ds2", Example for IPs: masters="192.168.8.1,192.168.8.2"
masters=${masters:-"172.xx.xxx.200,172.xx.xxx.201"}

# A comma separated list of machine <hostname>:<workerGroup> or <IP>:<workerGroup>.All hostname or IP must be a
# subset of configuration `ips`, And workerGroup have default value as `default`, but we recommend you declare behind the hosts
# Example for hostnames: workers="ds1:default,ds2:default,ds3:default", Example for IPs: workers="192.168.8.1:default,192.168.8.2:default,192.168.8.3:default"
workers=${workers:-"172.xx.xxx.200:default,172.xx.xxx.201:default"}

最后,在Master结点上重启DolphinScheduler集群即可解决

dolphinscheduler/bin/status-all.sh
dolphinscheduler/bin/stop-all.sh
dolphinscheduler/bin/start-all.sh


参考:
https://dolphinscheduler.apache.org/zh-cn/docs/3.2.1/guide/installation/cluster

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于DolphinScheduler集群部署,你可以按照以下步骤进行操作: 1. 确保你的集群中有足够的资源,包括计算和存储资源。 2. 安装依赖软件,包括MySQL、Zookeeper、Hadoop和Spark。根据你的需求,你还可以安装其他组件,如Kafka和Elasticsearch。 3. 下载DolphinScheduler的安装包,并解压到你选择的目录。 4. 配置MySQL数据库,创建一个新的数据库和相关的表。你可以使用DolphinScheduler提供的初始化脚本来完成这个过程。 5. 配置DolphinScheduler的主配置文件(conf/dolphinscheduler.properties),包括数据库连接信息和Zookeeper的地址等。 6. 配置Zookeeper集群信息,将Zookeeper的地址配置到DolphinScheduler的主配置文件中。 7. 配置Hadoop和Spark集群信息,将它们的地址配置到DolphinScheduler的主配置文件中。如果你使用的是分布式模式,还需要配置Hadoop和Spark的HA信息。 8. 启动DolphinScheduler的Master节点和Worker节点。你可以使用启动脚本(bin/dolphinscheduler-daemon.sh)来启动它们。 9. 访问DolphinScheduler的Web界面,在浏览器中输入Master节点的地址和端口号(默认为http://localhost:12345)。 10. 在Web界面中配置和管理你的工作流任务,包括创建、调度和监控任务等。 请注意,以上步骤只是一个简单的概述,实际部署过程可能会因你的配置和需求而有所不同。你可以参考DolphinScheduler官方文档中的详细部署指南,以获取更多详细的信息和指导。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值