DolphinScheduler的Master节点掉线问题排查

朝颜。

已于 2023-02-13 10:46:34 修改

阅读量5.2k

点赞数 2

文章标签：服务器运维 dolphin 数据仓库

于 2023-02-13 10:06:06 首次发布

本文链接：https://blog.csdn.net/weixin_43025027/article/details/129003969

版权

文章描述了一次在DolphinScheduler中遇到的任务执行停滞和Master节点掉线的问题，以及解决该问题的步骤，包括重启服务，修改文件权限，特别是确保所有相关日志文件的所属用户为dolphinscheduler，以及启动服务时使用正确的用户（非root）以避免权限错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述：周一早上，发现DolphinScheduler的任务执行时间停留在了上周五，再一看，Master节点全部掉线。
解决步骤：
1.重启DolphinScheduler，提示dolphinscheduler-master-server-hadoop001.out 和 dolphinscheduler-master-server-hadoop002.out 没权限。

在这里插入图片描述

2.给dolphinscheduler-master-server-hadoop001.out 和 dolphinscheduler-master-server-hadoop002.out 所属用户修改为 dolphinscheduler，

chown dolphinscheduler:dolphinscheduler   dolphinscheduler-master-server-hadoop002.out

再次重启。
在这里插入图片描述
3.将/opt/module/dolphinscheduler/logs/ 下所有文件，所属用户都修改为 dolphinscheduler，

chown dolphinscheduler:dolphinscheduler   dolphins

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

朝颜。

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Apache DolphinScheduler 使用常见问题总结(持续更新中)

samz5906的专栏

05-29

5万+

DolphinScheduler 使用常见问题总结开发环境常见问题API启动端口是8080不是12345找不到mysql驱动开发环境常见问题 API启动端口是8080不是12345 在初始化环境中api默认配置12345，解决办法编辑运行配置，增加如下配置 -Dserver-api-server -Dspring.profiles.active=api 找不到mysql驱动由于DolphinScheduler 默认使用的postgresql,默认没有引入mysql驱动依赖。需要手动修改pom。

Dolphinscheduler1.1.0 bug排查

a80090023的专栏

02-28

797

背景：2020-06-27 21:23 左右珠海同事维护任务时，发现新提交的task一直处于‘提交成功’中，长时间未转化为‘正在运行’。排查：日志1：master api 操作日志，可见2020-06-27 21:23:39.107时进程开始删除流程实例id为452345的任务。日志2:worker节点运行日志，2020-06-27 21:23:40.244 worker 批量仍然获取到了452345流程的一些子任务，然后处理任务时在数据库里拿不到相应任务信息报错，轮询30次后才会删除zk

参与评论您还未登录，请先登录后发表或查看评论

开源调度框架dolphinscheduler，2台机器上运行的任务无法立即停止，另外1台机器运行的任务可以立即停止

01-07

dolphinscheduler分布式部署，有3个worker节点，3个master节点操作：分别停止215、216、217运行的工作流实例如图：点击停止按钮 3. 现象：215、216机器上的任务一直运行中，217机器上的任务kill状态如图 4. 问题定位：打印3台机器的worker进程dump信息，发现215、216机器上，处理停止任务的线程发生了一直 waiting 状态，找到 5. 解决方案：去掉processUtils.killYarnJob逻辑（hive、spark客户端执行，只需kill 本地进程，yarn任务会自动取消）作者：weixin_4

DolphinScheduler环境搭建、服务启动等常见问题及解决方案

Apache DolphinScheduler开源社区

02-18

1027

Apache DolphinScheduler 作为一款分布式易扩展的工作流调度系统，广泛应用于大数据任务编排。然而，在实际使用中，用户可能会遇到环境搭建、服务启动、工作流执行等问题。本文结合社区文档与用户实践经验，整理以下高频问题及详细解决方案，帮助用户快速定位并解决问题。通过以上解决方案，用户可系统化应对 DolphinScheduler 的常见问题。若问题仍未解决，建议结合日志分析与社区支持进一步排查。：目前生产环境中推荐使用哪个稳定版本？Python SDK 兼容性。

dolphinScheduler启动失败

qq_42672132的博客

08-19

5177

一、出现的问题今天启动dolphinScheduler，发现其所有服务都没有启动然后去查看日志，发现对应服务的日志全部都有这个报错 ERROR in ch.qos.logback.core.rolling.RollingFileAppender[APILOGFILE] - openFile(logs/dolphinscheduler-api-server.log,true) call failed. - java.io.FileNotFoundException: logs/dolphinsched

宕机了？！DolphinScheduler 高可用和 Failover 机制关键时刻保命

Apache DolphinScheduler开源社区

05-09

992

Apache DolphinScheduler是一个分布式易扩展的工作流编排调度系统。其核心架构主要由3部分组成：APIServer, Master, Worker。其中API-Server负责接收所有的用户操作请求，Master负责工作流的编排和调度，Worker负责工作流中任务的执行。整个系统通过注册中信做服务发现，通过数据库持久化元数据。在API-Server中创建，并将元数据持久化到DB中。通过手动点击或定时执行生成一个触发工作流执行的Command写入DB。

Dolphinscheduler伪集群模式下worker节点挂掉导致工作流一直运行的排查和解决过程

fs545454的博客

11-20

1487

看到了这样的配置，基本上原因可以确定了，在部署海豚调度的节点上其实还有一些其他的服务，比如hive、namenode和resourcesmanager(这样确实很不合理)，这是非常吃资源的，但是没办法确实只有这点资源，所以导致hivesql一运行cpu高负载情况就会导致卡顿，而zookeeper设置超时时间600ms，这样出问题的概率那是百分百。该问题发生在hiveSQL的脚本执行过程中，sql跑着跑着worker进程就挂掉了，在之前也发生过好几次，但是一直没有重视都是重启就完事了。

「DolphinDB教程」如何正确定位节点宕机的原因

DolphinDB智臾科技

11-10

1662

在使用DolphinDB时，有时客户端会抛出异常信息：Connection refused。此时，linux操作系统上使用ps命令查看，会发现DolphinDB进程不见了。本教程针对出现这种情况的各种原因进行定位分析，并给出相应解决方案。 1.查看节点日志排查原因 DolphinDB每个节点的运行情况会记录在相应的日志文件中。通过分析日志，能有效地掌握DolphinDB运行状况，从中发现和定位一些错误原因。当节点宕机时，非DolphinDB系统运行原因导致节点关闭的情形通常有以下三种： Web集群管理

海豚调度master掉线

09-30

当Master节点（也称为调度器）发生掉线的情况，通常意味着以下几个方面： 1. 网络故障：可能是由于网络连接不稳定或断开导致Master无法接收作业请求或与其他节点通信。 2. 资源异常：如果Master依赖于集群资源管理...

XCPonCAN故障诊断：问题排查与解决的终极方案

同时，深入分析了故障诊断工具的选择和使用，以及基于XCPonCAN的故障排查技巧。文中还提供了故障诊断的实战演练案例，说明如何进行故障模拟、数据分析与定位，并探讨了故障解决的方法论和预防策略。最后，展望了...

【S7-1500 Modbus故障快速定位】：实用问题排查与解决方案

![S7-1500 Modbus TCP 通信实例](https://forum.weintekusa.com/uploads/db0776/original/2X/7/7fbe568a7699863b0249945f7de337d098af8bc8.png) ...# 1.... 在自动化控制系统中，数据交换是确保设备高效运行的核心要

Apache Dolphinscheduler如何不重启解决Master服务死循环

Apache DolphinScheduler开源社区

10-31

1760

5.从上面被红框圈出来的关键处代理，我们可以梳理出一个基本的master服务处理工作流的一个事件流程，工作流的线程类（WorkflowExecuteRunnable）被放到缓存中，缓存的key是工作流实例的ID,同时每一个工作流都有对应的事件，事件中存储工作流实例的ID，每次执行事件时都会从缓存中获取线程类，当线程类执行失败时便重新创建一个事件加入事件队列中执行，依次往复，除非缓存中的数据被清除了，才会结束循环。近期在跟社区的沟通中，最新3.2.0版本，该问题已经得到解决！7.ognl表达式参考这个链接。

Dolphinscheduler里Master和Worker页面为127.0.0.1的解决办法

qq_39371917的博客

06-18

507

Dolphinscheduler里Master和Worker页面为127.0.0.1的解决办法主要原因是没有给主机设置主机名，是默认的localhost，修改主机名，并在/etc/hosts里设置主机映射，重启Master和Worker服务就可以了。

dolphinscheduler配置之 master.properties/worker.properties及常见问题学习

cclovezbf的博客

03-10

4844

我的电脑是 12核 32g 打印如下这个配置=-1是什么意思呢？默认-1 我们可以看到其实就为系统预留了3G内存，意思是给其他应用留点活路。以我们的机器为例 32G 12线程我们看下哪里用到了这两个参数此时以服务器为例128G 32core/***/-- 前面的应该就是满cpu=32*2=64--这个是预留的=0.3 其实就是3G(我不知道dolphin为啥要/10)/**

master节点的故障发现及处理

sunjiangangok的博客

04-10

4134

master节点的故障发现对于master节点故障的检测，采用“心跳线”的方式进行，它的布局如图1-1所示。当master A在处理客户端的请求时，master B处于监控master A的状态。 master是本地无状态的。所谓本地无状态，是指master的状态数据都存放在后端数据库里，所以可以认为是个无状态的服务。但严格来说，master是有状态的，比如nc节点注册之后，在ets中建立的nc

DolphinScheduler自身容错导致的服务器持续崩溃重大问题的排查与解决

Apache DolphinScheduler开源社区

01-09

1196

修改t_ds_process_instance中的数据：根据时间周期，修改t_ds_process_instance中所有这个范围内的工作流的状态，人工使其结束（但如果DolphinScheduler和元数据库在一台服务器上，容易DolphinScheduler启动后里面把服务器资源打满，造成无法操作元数据库了）。首先发现重启恢复后，Web页面上的“运行类型”是“调度执行”，而数据库的“command_type”是“6”，那就意味着必须有一个服务会有往数据库里面去插入command_type为6的方法。

2021-10-14-东营现场出现问题，dolphinscheduler系统（master分配任务失败，worker无法调动，zk报错无法连接worker）

吃素的哈士奇de博客

10-14

1104

这里写目录标题master报错worker没有报错,但是不执行zk报错一直连接不上worker解决方式（初始化所有表，因为worker相关表被客户删了） master报错 worker没有报错,但是不执行 zk报错一直连接不上worker 解决方式（初始化所有表，因为worker相关表被客户删了）其实是客户把worker相关的表给删了（给气死TMD）或者补上所有缺失的表，建议第一种，初始化，数据什么的爱谁谁！ ...

DolphinScheduler集群任务一直运行，不成功也不失败

SunTecTec

03-29

1700

当DolphinScheduler的监控中心页面上的，Worker结点并非是bin/env/install_env.sh下定义的ip地址，则会导致Worker结点并非指定的机器结点，从而导致无法接受到任务执行中或者结果的任何状态。修改bin/env/install_env.sh下的 ips地址和 worker结点的ip地址，最好直接使用ip地址的方式编辑，而不是通过/etc/hosts文件映射ip地址名，这便于发现问题。

纯干货 | Dolphinscheduler Master模块源码剖析