dolphinscheduler:worker worker in work group default have not received the heartbeat问题

于 2023-11-28 10:09:28 发布
阅读量492 收藏
点赞数
文章标签： ds 大数据调度 分布式 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43688472/article/details/134660787
版权

dolphinscheduler:worker worker in work group default have not received the heartbeat问题

2023-11-24 08:59:59,124 WARN org.apache.dolphinscheduler.server.master.dispatch.host.LowerWeightHostManager:[132] - [WorkflowInstance-0][TaskInstance-0] - worker worker in work group default have not received the heartbeat
2023-11-24 08:59:59,124 WARN org.apache.dolphinscheduler.server.master.dispatch.host.LowerWeightHostManager:[132] - [WorkflowInstance-0][TaskInstance-0] - worker worker in work group default have not received the heartbeat

在这里插入图片描述
在git之前有前辈提出来了：
在后续的版本中也已经修复的
https://github.com/apache/dolphinscheduler/issues/13837

墨卿风竹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
dolphinscheduler配置之 master.properties/worker.properties及常见问题学习
cclovezbf的博客
03-10 3494
我的电脑是 12核 32g 打印如下这个配置=-1是什么意思呢？默认-1 我们可以看到其实就为系统预留了3G内存，意思是给其他应用留点活路。以我们的机器为例 32G 12线程我们看下哪里用到了这两个参数 此时以服务器为例128G 32core/***/-- 前面的应该就是满cpu=32*2=64--这个是预留的=0.3 其实就是3G(我不知道dolphin为啥要/10)/**
测试环境搭建整套大数据系统（五：搭建dolphinschduler3.1.9）
最新发布
weixin_43446246的博客
02-22 797
官网地址： 三：添加jar包。 1. 添加zk jar包。 进入 zookeeper 的安装目录，将 zoo_sample.cfg 配置文件复制到 conf/zoo.cfg，并将 conf/zoo.cfg 中 dataDir 中的值改成 dataDir=./tmp/zookeeper。 需要在alert-server，api-server，master-server，tools，worker-server这五个目录全部放进去。即使你使用的mysql是5.7，也要使用8.0.16以上的驱动。 将驱动包放到al
第二章 数据迁移之Dolphinscheduler调度DataX从Mysql全量导入Hive
qq_27924553的博客
12-07 7090
Dolphinscheduler调度DataX从Mysql全量导入Hive
【Linux】Sudo的隐晦bug引发的一次业务问题排查
Meepoljd的博客
03-08 776
记录一次生产环境sudo启动进程频繁被Kill且不报错的异常处理过程，如果遇到同样的问题只想要解决方案，直接跳到处理方案部分即可。
搭建基于heartbeat的高可用集群
Bekars涡轮增压的Blog ^_^
06-23 2202
搭建基于heartbeat的高可用集群欢迎转载引用 copyleft by linuxer_jlu all lefts reserved1、 软件下载heartbeat-1.2.3.tar.gz和相关依赖软件(如果已经安装了开发工具包，一般只需要下载libnet-1.1.0-1.fr.c.1.um.1.i386.rpm即可) www.linux-ha.org2、 软件安装rpm –ivh libn
mongodb启动异常：about to fork child process, waiting until server is ready for connection
weixin_41787887的博客
09-18 2万+
用kill -9 杀进程mongodb后，重新启动，产生错误：about to fork child process, waiting until server is ready for connection此异常。 错误如图： 解决方法: 1、sudo kill -9 4018   杀掉子进程 2、进入mongodb安装目录，删除data目录下的mongod.lock文件 3、 b...
dolphinScheduler1.3.3(海豚调度)worker卡死
黑眼圈@~@从不出水文
01-19 5132
前言 对于我这个问题，我在社区上提过issues: https://github.com/apache/dolphinscheduler/issues/6959 但是没有人回复和提供解决方案。然后我只能自己改源码，把问题就解决了。我把解决方案放到issues上。但是前段时间社区关闭了我的问题。所以我放到这里吧。 问题 我的海豚集群版本是1.3.3，我有两个master节点和很多workergroup，其中一个workergroup有一个worker节点。 当我这个worker节点服务宕了。配置到这
Can only call getServletHandlers on a running MetricsSystem解决方法
qq_43408367的博客
08-02 2501
运行Spark集群时（standalone 模式下）出现Can only call getServletHandlers on a running MetricsSystem报错。第一种：遇到这种报错可以先查看下集群的worker，如果集群的 worker 挂掉了，重启下就好了。第三种：上一条中的spark.master端口没开，或者防火墙没关，属于网络问题，仔细排查下就行了。第二种：配置搞错了，查看spark-env.sh和spark-defaults.conf 文件。...
DolphinScheduler 集群模式部署
记录点点滴滴
03-28 1868
DolphinScheduler 集群模式部署集群规划前置准备工作解压DolphinScheduler安装包初始化数据库配置一键部署脚本一键部署 DolphinSchedulerDolphinScheduler启停命令 集群规划 集群模式下，可配置多个 Master 及多个 Worker 通常可配置2~3个Master，若干个Worker cpu101 cpu102 cpu103 master √ worker √ √ √ 前置准备工作 三台节点均需部署JDK（1.8+），并配
DolphinScheduler
Leeyehong_self的专栏
07-15 3628
大数据调度工具
Apache DolphinScheduler 使用常见问题总结(持续更新中)
热门推荐
samz5906的专栏
05-29 4万+
DolphinScheduler 使用常见问题总结开发环境常见问题API启动端口是8080不是12345找不到mysql驱动 开发环境常见问题 API启动端口是8080不是12345 在初始化环境中api默认配置12345， 解决办法 编辑运行配置，增加如下配置 -Dserver-api-server -Dspring.profiles.active=api 找不到mysql驱动 由于DolphinScheduler 默认使用的postgresql,默认没有引入mysql驱动依赖。需要手动修改pom。
DolphinScheduler任务调度源码剖析
旺旺的博客
09-22 4215
DolphinScheduler任务调度源码剖析
dolphinscheduler-1.3 worker分组管理配置
Jatham_C的博客
11-16 2770
博主的UI界面没有创建worker组，官方文档也没有找到，做个记录 vi /${dolphinscheduler}/conf/worker.properties # default worker group,if this worker belongs different groups,you can config the following like that `worker.groups=default,test` worker.groups=default,slave1 重启 ${dolphin
CDH集群部署Dolphinscheduler1.3.1
ifeng
08-04 2708
文章目录1 下载2 基础软件安装3 集群解压缩3.1 scp到其他节点3.2 tar开3.3 重命名4 创建部署用户和hosts映射4.2 同步到其他4.3 安装sshpass4.4 免密登录4.5 修改权限5 数据库初始化5.1 数据库用户权限5.2 创建表和导入基础数据6 修改运行参数7 初始化8 启停服务 1 下载 https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html 2 基础软件安装 PostgreSQL (8
DolphinScheduler大数据调度系统
Im ok的博客哦
06-30 1万+
一、背景 在2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时，受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，易观的技术团队渴望找到一个具有以下功能的数据调度工具： 易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师; 解决“复杂任务依赖”问题，并且可以实时监视ETL运行状态; 支持多租户; 支持许多任务类型：Shell，MR，Spa
Apache Dolphinscheduler —— CDH6.3.2集群模式部署(Cluster)
caron的博客
05-08 3139
Apache Dolphinscheduler 一、前期准备1、基础环境配置2、下载二进制tar.gz包3、创建部署用户和hosts映射4、配置hosts映射和ssh打通及修改目录权限5、数据库初始化二、Apache Dolphinscheduler配置修改1、数据库配置2、修改运行参数三、一键部署1、执行2、登录3、启停服务 一、前期准备 1、基础环境配置 关于CDH6.3.2基础配置如下，和官网要求存在版本差距，并不影响： MySQL (5.6.24) JDK (1.8.0_292) ，安装好后在/et
dolphinscheduler1.3.4版本开启Netty日志，解决调度流程实例在运行中问题
游语
01-25 1234
问题描述 我们使用DS1.3.4新版本的时候，执行调度，调度一直在运行中，api-server日志正常，master-server没有报错，worker-server也没有报错，流程实例在运行中，任务实例处于已提交状态，然后不动了，卡死在这里了。 问题定位 流程实例在执行中，说明master-server改变了流程实例状态，排查到master-server日志中没有Netty发送部分，于是找到一下源码： 将任务添加到备用队列 private void addTaskToStandByList(TaskIns
apache-dolphinscheduler的使用问题总结
weixin_45450027的博客
08-27 3120
一、租户问题 二、指定虚拟python环境的python类型任务的执行时环境变量问题 三、资源中心创建目录或者文件失败 四、由zookeeper同步引起的shutdown问题
Apache DolphinScheduler：工作流调度引擎详解与应用
"Apache DolphinScheduler是一个分布式的工作流调度引擎，专为解决大数据处理流程中的复杂依赖关系而设计。它提供了一个可视化的DAG界面来安排和监控任务，支持多种任务类型，包括Shell、MR、Spark、SQL等。此外，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值