2021-10-14-东营现场出现问题，dolphinscheduler系统（master分配任务失败，worker无法调动，zk报错无法连接worker）

最新推荐文章于 2024-04-16 15:02:16 发布
最新推荐文章于 2024-04-16 15:02:16 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： 项目部署的时候出的小问题 文章标签： zookeeper dolphin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010978399/article/details/120757349
版权
本文描述了一个问题，master在尝试分配任务时遇到错误，worker虽未报错但不执行，同时zk因无法连接worker而报错。解决方法是由于客户误删了worker相关的数据库表，建议通过初始化所有表来修复，或补充缺失数据。
摘要由CSDN通过智能技术生成

这里写目录标题

master报错

分配任务失败，无法启动worker
在这里插入图片描述

worker没有报错,但是不执行

在这里插入图片描述

zk报错一直连接不上worker

在这里插入图片描述
在这里插入图片描述

解决方式（初始化所有表，因为worker相关表被客户删了）

其实是客户把worker相关的表给删了（给气死TMD）
在这里插入图片描述
或者补上所有缺失的表，建议第一种，初始化，数据什么的爱谁谁！

吃素的哈士奇
关注
专栏目录
dolphinscheduler 报错及解决办法
光于前裕于后的博客
04-26 1万+
1 目录权限问题 ERROR orm.CompilationManager: Could not rename /tmp/sqoop-hive/compile/4c4230b9e5d67829fa1f847893ff8560/QueryResult.java to /tmp/dolphinscheduler/exec/process/2/7/25/35/./QueryResult.java. Error: /tmp/dolphinscheduler/exec/process/2/7/25/35/./Quer
开源调度框架dolphinscheduler，2台机器上运行的任务无法立即停止，另外1台机器运行的任务可以立即停止
01-07
dolphinscheduler分布式部署，有3个worker节点，3个master节点 操作：分别停止215、216、217运行的工作流实例 如图： 点击停止按钮 3. 现象：215、216机器上的任务一直运行中，217机器上的任务kill状态 如图 4. 问题定位：打印3台机器的worker进程dump信息，发现215、216机器上，处理停止任务的线程发生了 一直 waiting 状态，找到 5. 解决方案：去掉processUtils.killYarnJob逻辑（hive、spark客户端执行，只需kill 本地进程，yarn任务会自动取消） 作者：weixin_4
Dolphinscheduler install.sh zk报错
dbc_zt的博客
12-22 599
dolphinscheduler install.sh zk报错解决方案
DolphinScheduler 调度工作流报错 Host key verification failed.
最新发布
JIE的博客 --- moon_coder
04-16 560
在调度多个任务时，如果你选择的失败策略是【继续】，那么可能会导致你即使失败了，也看不到相关的日志，它应该会重复执行，我不知道这算不算 DolphinScheduler 的 BUG，我碰到了这种情况，失败策略选择【结束】时，则不会出现这种情况。导致我刚开始认为是我的 SSH 配置问题，后面验证过发现 SSH 正常，才想起来租户要与操作系统的用户对应。DolphinScheduler 中的租户与 Linux 系统中的用户是对应的，也就是说，在执行调度任务时，失败了，查看日志发现错误 ——
Apache DolphinScheduler中ZooKeeperCDH不兼容问题的解决方案
Apache DolphinScheduler开源社区
02-18 1479
看到Apache DolphinScheduler社区群有很多用户反馈和讨论这块问题，针对不兼容的问题，不仅需要自己重新编译各一个新包，而且因为默认是使用zk-3.8的配置，所以会出现不兼容问题。我的位置是 D:\IdeaProjects\dolphinscheduler-3.2.0-release\dolphinscheduler-dist\target。我不知道配置文件的指定的位置，在IDEA开发工具中按ctrl+shift+f组合键， 在项目所有文件中搜索：zookeeper.version。
Dolphinscheduler伪集群模式下worker节点挂掉导致工作流一直运行的排查和解决过程
fs545454的博客
11-20 1112
看到了这样的配置，基本上原因可以确定了，在部署海豚调度的节点上其实还有一些其他的服务，比如hive、namenode和resourcesmanager(这样确实很不合理)，这是非常吃资源的，但是没办法确实只有这点资源，所以导致hivesql一运行cpu高负载情况就会导致卡顿，而zookeeper设置超时时间600ms，这样出问题的概率那是百分百。该问题发生在hiveSQL的脚本执行过程中，sql跑着跑着worker进程就挂掉了，在之前也发生过好几次，但是一直没有重视都是重启就完事了。
grafana-DolphinScheduler-Worker.json
05-24
grafana上DolphinScheduler-Worker使用的json文件
DolphinScheduler任务调度系统-其他
06-13
Apache DolphinScheduler(incubator,原EasyScheduler）是一个大数据分布式工作流任务调度系统，主要解决大数据研发过程中ETL处理错综复杂的依赖关系，而不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式...
apache-dolphinscheduler-3.1.4-bin
02-20
当任务出现异常时，系统会发送告警通知，帮助运维人员快速定位问题。 6. **权限管理**：通过角色和用户组的设定，实现对工作流的权限控制，保证数据安全。 7. **API与插件扩展**：DolphinScheduler提供了RESTful ...
apache-dolphinscheduler-3.0.0-bin.tar.gz
09-14
Apache DolphinScheduler（以下简称DolphinScheduler）是一款开源的工作流调度系统，旨在解决大数据处理中的任务编排问题，提供可视化的作业流程设计、调度执行以及监控管理功能。在DolphinScheduler 3.0.0版本中，...
记一次Dolphinscheduler 1.3.6 worker OOM
Old Belvey
12-09 389
记一次Dolphinscheduler 1.3.6 worker OOM
dolphinScheduler1.3.3(海豚调度)worker卡死
黑眼圈@~@从不出水文
01-19 5308
前言 对于我这个问题，我在社区上提过issues: https://github.com/apache/dolphinscheduler/issues/6959 但是没有人回复和提供解决方案。然后我只能自己改源码，把问题就解决了。我把解决方案放到issues上。但是前段时间社区关闭了我的问题。所以我放到这里吧。 问题 我的海豚集群版本是1.3.3，我有两个master节点和很多workergroup，其中一个workergroup有一个worker节点。 当我这个worker节点服务宕了。配置到这
dolphinscheduler啓動失敗：Caused by: org.apache.dolphinscheduler.registry.api.RegistryException: zookeepe
m0_37759590的博客
05-12 3347
## dolphinscheduler啓動失敗：Caused by: org.apache.dolphinscheduler.registry.api.RegistryException: zookeeper connect timeout
DolphinScheduler的Master节点掉线问题排查
weixin_43025027的博客
02-13 4346
DolphinScheduler的Mater节点掉线问题排查解决
dolphinScheduler启动失败
qq_42672132的博客
08-19 4540
一、出现的问题 今天启动dolphinScheduler，发现其所有服务都没有启动 然后去查看日志，发现对应服务的日志全部都有这个报错 ERROR in ch.qos.logback.core.rolling.RollingFileAppender[APILOGFILE] - openFile(logs/dolphinscheduler-api-server.log,true) call failed. - java.io.FileNotFoundException: logs/dolphinsched
dolphinscheduler 3.0.1 监控中心（上）：服务管理
10-30 1256
Master、Worker CuratorFramework DataSource 和HikariDataSource
master节点的故障发现及处理
sunjiangangok的博客
04-10 3946
master节点的故障发现 对于master节点故障的检测，采用“心跳线”的方式进行，它的布局如图1-1所示。当master A在处理客户端的请求时，master B处于监控master A的状态。 master是本地无状态的。所谓本地无状态，是指master的状态数据都存放在后端数据库里，所以可以认为是个无状态的服务。但严格来说，master是有状态的，比如nc节点注册之后，在ets中建立的nc
dolphinscheduler海豚调度升级，woker节点启动失败报错。
v790873的博客
11-15 3487
[ERROR] 2021-11-15 13:48:57.652 org.apache.dolphinscheduler.service.zk.ZookeeperOperator:[150] - isExisted key : /dolphinscheduler/nodes/worker/ld_hadoop01_hdfs_02/197.68.0.16:1234 java.lang.IllegalStateException: Expected state [STARTED] was [STOPPED] 处理
【异常解决】DolphinScheduler-2.0.5 工作流实例无法调度和停止异常
快乐星球
06-14 5708
dolphinscheduler 2.0.5 工作流实例无法调度和停止的问题解决
External provisioner is provisioning volume for claim "dolphinscheduler/dolphinscheduler-worker-logs-dolphinscheduler-worker-2"
10-12
这是一个 Kubernetes 集群的日志，说明 External provisioner 正在为名为 "dolphinscheduler-worker-logs-dolphinscheduler-worker-2" 的卷提供存储。External provisioner 是用于自动化创建外部存储卷并将其挂载到 Kubernetes 节点的工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值