【DolphinScheduler】spark任务执行成功,状态却显示失败问题

郝少

已于 2022-05-23 11:52:26 修改

阅读量2.6k

点赞数 2

分类专栏：大数据 DolphinScheduler 文章标签： spark 大数据 big data

于 2021-11-01 14:00:37 首次发布

本文链接：https://blog.csdn.net/hyj_king/article/details/121078665

版权

DolphinScheduler 同时被 2 个专栏收录

12 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

大数据

161 篇文章

订阅专栏

在DolphinScheduler（DS）中，一个Spark任务执行显示成功，但DS页面反馈任务失败。尽管YARN日志无误，问题出在install_config.conf配置文件，错误配置了未启用的YARN HA。修正install_config.conf，删除不必要的HA配置并重新安装后，集群恢复正常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、问题描述

在ds上执行运行一个spark任务，yarn显示成功运行并有正常输出，ds日志也没有错误信息输出，但是ds的页面反馈为失败。

页面显示：

worker节点日志显示：

[ERROR] 2021-11-01 10:31:53.418 org.apache.dolphinscheduler.common.utils.HttpUtils:[73] - Connect to 192.168.xxx.xx3:8088 [/192.168.xxx.xx3] failed: 拒绝连接 (Connection refused)
org.apache.http.conn.HttpHostConnectException: Connect to 192.168.xxx.xx3:8088 [/192.168.210.203] failed: 拒绝连接 (Connection refused)
	at org.apache.http.impl.conn.DefaultHttpClientConnectionOperator.connect(DefaultHttpClientConnectionOperator.java:151)
	at org.apache.htt