kafka发送消息失败排错

最新推荐文章于 2024-06-25 10:57:59 发布

KazU5a

最新推荐文章于 2024-06-25 10:57:59 发布

阅读量2.7k

点赞数 1

分类专栏： JAVA

本文链接：https://blog.csdn.net/qq_41589166/article/details/86244137

版权

JAVA 专栏收录该内容

21 篇文章 0 订阅

订阅专栏

问题

所有配置均无问题，但是发送后消费者无法消费

日志报错信息

Marking the coordinator hexd-1:9092 (id: 2147483647 rack: null) dead for group test

被标记为死亡, 不能接收消息的原因可能就是消费者死亡导致的

原因

生产者发送消息时以主机名：端口的形式发送消息，而局域网中不能通过主机名互相访问

解决方案

修改系统中host文件，添加ip与主机名的对应关系：

192.168.152.101 hexd

再次启动项目问题解决

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

KazU5a

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【Kafka】GroupCoordinatorNotAvailableException - The coordinator is not available

九师兄

11-17

2344

1.背景我写了一个程序，该程序是重建所有的kafka topic，步骤如下删除kafka 调用shell 删除kafka的数据删除zk上存储的信息但是重建后，发现，消费者无法消费数据了，但是生成者仍然可以生成数据，并且在shell命令中，kafka-console-consumer.sh 是可以生产和消费的。就算是写了一个最普通的消费者都无法正常的消费。日志有如下错误，或者没有错误。 Caused by: org.apache.kafka.common.errors.DisconnectE.

[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available

07-07

2245

[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available

1 条评论您还未登录，请先登录后发表或查看评论

关于python运行脚本向kafka发数据，但一直报错的问题

最新发布

CSDN_Wzhi的博客

06-25

609

关于python运行脚本向kafka发数据，但一直报错的问题，是版本的问题

Group coordinator lookup failed: The coordinator is not available.问题

地球人是我哈的博客

05-21

3385

背景：最近使用的项目中用到了kafka，并且需要集成kerberos.这边kerberos认证已经通过，但是在消费的时候一直拉不到数据，随后使用shell命令在服务器上消费数据，结果一样。后面更改日志级别，发现一直循环打印如下日志: 2020-05-21 10:05:06.651 [ForkJoinPool-1-worker-5] DEBUG org.apache.kafka.clients.Metadata - Updated cluster metadata version 133 to Cluste

kafka-报错-The coordinator is not aware of this member

lijiewen2017的博客

12-14

3990

kafka-报错-“The coordinator is not aware of this member”。我在项目里把原来用着的独立消费者 consumer-group-id 同时当做消费者组来消费分区信息，导致协调器找不到这个 consumer-group-id

kafka 消费组问题 The coordinator is not available

reformer77的博客

02-20

673

那么就获取不到这消费组的offset，导致无法消费消息。生产者发送的消息分发到不同的分区中，消费者接收数据的时候是按照消费者组来接收的，不同的消费组消费速度不一样，kafka把这个offset，根据消费组名称均衡的保存到了。有个项目很久没有需求了，今天突然有一些小需求，需要在公司测试环境调接口造些假数据，发现接口响应200，却没有在数据库新增假数据。于是查看了一下kafka节点状态，发现其中一个节点挂了，重启这个节点后就能正常消费了。这就诡异了，命令行的能监听到消息，jar服务监听不到消息，

Flink写500亿天数据到远端Kafka排错、Flink优化记录。_flink lz4 压缩

2301_77033583的博客

04-29

261

比如核心集群与预处理集群的Kafka配置全为默认值，B预处理kafka集群与某其他程序在同一服务器，其中这个程序固定吃200G内存，但CPU占用不到5%，严重影响资源配比。核心kafka集群在排忧的过程中，进行了一次扩容操作，从10扩容到23。所以这个超时就是我已经添加了数据到缓冲中，在缓冲中进行数据的发送，如果缓冲装满了，并且最后装入的时间大于了requestTimeoutMs，那么就会报错。之前也提到了，问题就比较少，就是数据多了，数据少了，数据不完整了，数据有时延了，数据有重复了。

Kafka 核心知识点灵魂 16 问

大数据梦想家

05-16

1280

大家好，我是梦想家Alex，今天为大家带来面试过程中关于 Kafka 核心知识灵魂 16 问 ~ 内容较丰富，建议转发收藏。 1、为什么要使用 Kafka ？缓冲和削峰上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka 在中间可以起到一个缓冲的作用，把消息暂存在 kafka

基于kafka，zookeeper实现的日志收集平台搭建

qq_57472200的博客

08-14

1843

l项目描述：分别使用3台Linux服务器来作为nginx集群搭建前端web服务，kafka集群和zookeeper集群,2台Linux机器做反向代理集群。

ogg安装实时同步kafka部署

qq_40582275的博客

11-19

1559

OGG Oracle GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。 Manager(控制)进程用于管理 Extract，Data Pump，Replicat等进程在 Extract、Data Pump、Replicat 进程启动之前，Manager 进程必须先要在源端和目标端启动 Extract(抽取)进程可以配置Extract 进程来做 ⒈ 初始数据装载

三万字 | Kafka 知识体系保姆级教程宝典

m0_67322837的博客

05-26

329

本文目录：一、消息队列 Apache Pulsar Pulsar 与 Kafka 对比二、Kafka基础三、Kafka架构及组件四、Kafka集群操作五、Kafka的JavaAPI操作六、Kafka中的数据不丢失机制七、Kafka配置文件说明八、CAP理论九、Kafka中的CAP机制十、Kafka监控及运维十一、Kafka大厂面试题 Kafka 涉及的知识点如下图所示，本文将逐一讲解：本文档参考了关于 Kafka 的官网及其他众多资料整理而成，为了整洁的排版...

【kafka】Group coordinator xx is unavailable or invalid, will attempt rediscovery

九师兄

12-23

9375

kafka报错，但是这个环境，从监控上看一切正常。9092端口正常，zk正常，服务正常，查看topic正常，但是控制台消费异常。代码消费异常。kafka 相应的hostname 和ip 对应关系没有配置Kafka 消息无法接收(group coordinator is not available)

kafka 0.10.0 ERROR internals.ConsumerCoordinator: Offset commit failed.

qq_34009542的博客

12-02

1165

kafka，spark版本：kafka 0.10.0 spark2.3.0 ERROR internals.ConsumerCoordinator: Offset commit failed. org.apache.kafka.clients.consumer.RetriableCommitFailedException: Commit offsets failed with retriabl...

kafka发送消息出错，提示连接超时无法发送

热门推荐

寂夜了无痕的博客

08-02

2万+

正文开始: 最近看了下kafka 。Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像H...

【异常解决】The coordinator is not available

快乐星球

02-27

4324

CoordinatorNotAvailableException: The coordinator is not available异常解决

Flink整合Kafka报错：Marking the coordinator hadoop000:9092(id: 2147483647 rack: null) dead

逆天骚年的博客

07-09

4723

代码很简单，如下： package com.imooc.flink.course08 import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala.{DataStream, Str...

java kafka consumer不消费，报错marking the coordinator (id rack null) dead for group

赶路人儿

07-06

8291

问题描述：在linux系统，通过 kafka 命令行客户端测试消费正常，但通过Java consumer客户端无法正常接收队列消息，启动后输出如下日志信息： 15:21:34.864 [concurrentMessageListenerContainer-0-kafka-consumer-1] INFO org.apache.kafka.clients.consumer.internals.AbstractCoordinator - Marking the coordinator platform-0

开发技术-org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = -720899)

JustDI0209的博客

11-17

3834

1、现状： kafka客户端报错---(id: 2147483645 rack: null) dead for group kafka服务端报错---标题 2、方法：有说是hostname没有匹配上的，但是这边的配置信息是直接写的IP，不存在这个问题。还有的说是 socket.request.max.bytes 的值太小，需要修改（kafka的配置文件），默认是100M，那么直接修改为200M---209715200 ，然后重启kafka，但是还是报同样的错误。在排查日志时，发现，ka.

spring boot整合kafka @KafkaListener日志输出dead for group解决办法

xiaoliuyiting的博客

09-06

6850

问题： 2018-09-06 11:43:41.508 |-INFO [org.springframework.kafka.KafkaListenerEndpointContainer#1-7-C-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator [600] -| Marking the coordinator...

kafka发送消息代码

09-26

在使用spring-kafka发送消息到Kafka时，可以使用以下代码实现： 1. 首先，需要在pom.xml文件中添加spring-kafka依赖： ```xml <groupId>org.springframework.kafka <artifactId>spring-kafka <version>2.3.7...