Spark消费kafka任务卡死：Marking the coordinator xxx:9092 (id: 2147483647 rack: null) dead for group xxx

最新推荐文章于 2022-07-27 11:18:37 发布
最新推荐文章于 2022-07-27 11:18:37 发布
阅读量9.8k 收藏 2
点赞数 1
分类专栏： 大数据-kafka
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/103313042
版权
大数据-kafka 专栏收录该内容
402 篇文章 639 订阅 ¥99.90 ¥299.90
订阅专栏

1.背景

在这里插入图片描述

2. 问题出现

运行了一个spark任务，然后，发现有一个Job特别的慢，其他的最多用了30分钟，但是这个任务却运行了 1.1个小时，数据量是100万的数据。

2.1 任务

在这里插入图片描述
点击进入

2.2 DAG 图

在这里插入图片描述

2.4 异常JOB

在这里插入图片描述

2.5

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Kafka】docker下kafka报错 IOException: Connection to xxx:19093 (id: 1002 rack: null) failed
九师兄
08-25 2199
1.背景 因为某些原因，kafka在Docker内部的Ip为9092，docker外部映射的ip为9093，但是现在网络不通了，查看了一下发现，kafka server.log下日志错误如下 [2020-08-25 07:02:05,742] WARN [ReplicaFetcherThread-0-1002], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@5e647b11 (kafka.server.ReplicaFetch.
【kafka】消费组 死掉 kafka Marking the coordinator dead for group
九师兄
12-13 3501
java kafka consumer不消费，报错marking the coordinator (id rack null) dead for groupStructedStreaming Kafka 排错（AbstractCoordinator: Marking the coordinator *dead for grou调整Spark Streaming的日志输出级别，解决Spark Streaming的代码报错：Marking the coordinator * dead for group。
记录kafka踩坑：marking the coordinator (id rack null) dead for group
weixin_48445640的博客
02-27 2419
工作中用java代码连接k8s集群中的kafka集群时消费者java代码一直报异常marking the coordinator (id rack null) dead for group。经过长时间试错，有两点解决办法。 首先，更新pom文件中的kafka-clients版本，我之前用的0.11.0.0版本已经无法完美支持新版本的kafka了，所以改成新版我改为了:2.4.1 第二就是通过idea工具找到该方法，打断点： 在画圈处打断点，发现解析出来的host域名不是在application.yml中配
Flink整合Kafka报错：Marking the coordinator hadoop000:9092(id: 2147483647 rack: null) dead
逆天骚年的博客
07-09 4720
代码很简单，如下： package com.imooc.flink.course08 import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala.{DataStream, Str...
【FLink】Flink 消费 kafka 消费组 死掉 Marking the coordinator dead for group 造成数据重复消费
九师兄
07-28 1307
【Flink】Flink Kafka 消费卡死 消费组卡死 topic无写入 实际有数据 topic正常Kafka : kafka无法消费的情况在博客【kafka】消费组 死掉 kafka Marking the coordinator dead for group中消费组死掉，但是不会造成数据重复消费，但是这次却造成重复消费了。flink消费kafka的时候，出现了一个两个warn日志，后面flink继续运行。
Marking the coordinator dead for group recommender报错
javaChengXuY的博客
05-31 831
spark整合Kafka报错： Marking the coordinator hadoop-01:9092 (id: 2147483647 rack: null) dead for group recommender 在网上查询是因为调用的时候没有在windows的host中设置kafka所在机器的映射。我kafka所在机器名称是hadoop-01，后在host中将机器名称和ip映射保存后解决！特此记录！ ...
java kafka consumer不消费，报错marking the coordinator (id rack null) dead for group
赶路人儿
07-06 8280
问题描述：在linux系统，通过 kafka 命令行客户端测试消费正常，但通过Java consumer客户端无法正常接收队列消息，启动后输出如下日志信息： 15:21:34.864 [concurrentMessageListenerContainer-0-kafka-consumer-1] INFO org.apache.kafka.clients.consumer.internals.AbstractCoordinator - Marking the coordinator platform-0
【Kafka】kafka 卡死 Discovered coordinator xx:9092 (id: xxx rack: null) for group xxx
热门推荐
九师兄
12-09 1万+
1.背景 构建了一个kafka消费组，然后 2020-12-09 21:55:22 [XNIO-1 task-120] INFO o.a.k.c.consumer.ConsumerConfig - ConsumerConfig values: metric.reporters = [] metadata.max.age.ms = 300000 partition.assignment.strategy = [org.apache.kafka.clients.consumer.RangeAssign.
flink kafkaconsumer线上问题：Marking the coordinator 2147483647 dead.
bianfulin01的专栏
04-28 3093
错误日志： 解决方案： 参考文章：http://www.bubuko.com/infodetail-2332804.html 修改参数： props.setProperty("fetch.max.wait.ms", "60000"); props.setProperty("session.timeout.ms", "500000"); props.setProperty("max.pa...
调整Spark Streaming的日志输出级别，解决Spark Streaming的代码报错：Marking the coordinator * dead for group *
专注于后端开发，时常接触大数据 、人工智能等
05-07 4679
Spark Streaming消费Kafka中的数据，报错如下截图： `19/05/07 17:16:58 INFO AbstractCoordinator: Discovered coordinator slave2:9092 (id: 2147483645 rack: null) for group UserClikAnalysis. 19/05/07 17:17:00 INFO Abstra...
kafka consumer 日志疯狂输出 marking the coordinator host:9092 for dead group consumer-test
05-10 9750
最近在调试spark-streaming消费kafka消息时发现日志疯狂输出         marking the coordinator host:9092 for dead group consumer-test kafka server为集群，连接时使用的是hostname:9092方法去连接，程序也不报错，去kafka server当中查询consumer-test组也存在，经过排查
【kafka】Kafka 源码解析：Group 协调管理机制
九师兄
07-25 1295
1.概述 转载：Kafka 源码解析：Group 协调管理机制 在 Kafka 的设计中，消费者一般都有一个 group 的概念（当然，也存在不属于任何 group 的消费者），将多个消费者组织成一个 group 可以提升消息的消费处理能力，同时又能保证消息消费的顺序性，不重复或遗漏消费。一个 group 名下的消费者包含一个 leader 角色和多个 follower 角色，虽然在消费消息方面这两类角色是等价的，但是 leader 角色相对于 follower 角色还担负着管理整个 group 的职责。.
kafka不消费:9092 (id: 0 rack: null)
道阻且长,行则将至 行而不辍,未来可期
07-27 1975
1、搞了个pre环境，Jenkins集成部署的包部署上去就可以的消费，可是自己打的包就是不能消费，诡异的很，所以不断各种定位结果还是。设置打印日志是显示成功了的！添加了这俩货可是还是不行。...
kafka发送消息失败排错
qq_41589166的博客
01-10 2752
问题 所有配置均无问题，但是发送后消费者无法消费 日志报错信息 Marking the coordinator hexd-1:9092 (id: 2147483647 rack: null) dead for group test 被标记为死亡, 不能接收消息的原因可能就是消费者死亡导致的 原因 生产者发送消息时以主机名：端口的形式发送消息，而局域网中不能通过主机名互相访问 解决方...
SpringKafka无法提交offset问题：Group coordinator not available
SpringBoy的博客
05-28 4264
SpringKafka无法提交offset问题：Group coordinator not available 在使用SpringKafka时，无法提交offset，提交时报错： 2022-05-28 17:24:32.078 INFO 14584 --- [umer_numb-0-C-1] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-consumer_numb-1, groupId=consumer_num
spring整合kafka时出现Group coordinator is unavailable or invalid, will attempt rediscovery错误
weixin_55174868的博客
05-27 6980
                                                                       .
kafka异常之Commit cannot be completed since the group has already rebalanced and assigned the partition
高新富的博客
11-19 1784
1.问题描述 2020-11-19 10:07:14.216 INFO 58352 --- [.1.136_8848-dev] c.a.n.client.config.impl.ClientWorker : get changedGroupKeys:[] 2020-11-19 10:07:14.218 INFO 58352 --- [ge-manage-group] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=cons
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值