kafka发送消息失败排错

最新推荐文章于 2023-04-23 11:11:22 发布
最新推荐文章于 2023-04-23 11:11:22 发布
阅读量2.7k 收藏
点赞数 1
分类专栏： JAVA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41589166/article/details/86244137
版权

问题

所有配置均无问题，但是发送后消费者无法消费

日志报错信息

Marking the coordinator hexd-1:9092 (id: 2147483647 rack: null) dead for group test

被标记为死亡, 不能接收消息的原因可能就是消费者死亡导致的

原因

生产者发送消息时以主机名：端口的形式发送消息，而局域网中不能通过主机名互相访问

解决方案

修改系统中host文件，添加ip与主机名的对应关系：

192.168.152.101 hexd

再次启动项目问题解决

KazU5a
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark消费kafka任务卡死：Marking the coordinator xxx:9092 (id: 2147483647 rack: null) dead for group xxx
九师兄
11-29 9828
1.背景 2. 问题出现 运行了一个spark任务，然后，发现有一个Job特别的慢，其他的最多用了30分钟，但是这个任务却运行了 1.1个小时，数据量是100万的数据。 2.1 任务 点击进入 2.2 DAG 图 2.4 异常JOB 2.5 Job的DAG图 可以看到是从kafka开始消费的。 最后发现任务卡着 3.原因 最后一行 Marking the coordinator pla...
【kafka】消费组 死掉 kafka Marking the coordinator dead for group
九师兄
12-13 3404
java kafka consumer不消费，报错marking the coordinator (id rack null) dead for groupStructedStreaming Kafka 排错（AbstractCoordinator: Marking the coordinator *dead for grou调整Spark Streaming的日志输出级别，解决Spark Streaming的代码报错：Marking the coordinator * dead for group。
Flink整合Kafka报错：Marking the coordinator hadoop000:9092(id: 2147483647 rack: null) dead
逆天骚年的博客
07-09 4709
代码很简单，如下： package com.imooc.flink.course08 import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala.{DataStream, Str...
kafka推送消息失败的问题
weixin_39694116的博客
03-30 906
经过排查发现每次推往服务器A的消息都丢失了，到A服务器下data/logs/topic名称 目录下的log文件一直是0大小，也就是说这个分片的消息都没有成功发布，最后确定原因是，A集群kafka的配置里多了min.insync.replicas=2，表示的意思是消息至少必须要有2个副本，但是默认我的这个topic是1个副本的，所以这里消息一直没发布成功，把这条注释掉后解决问题。topic没有事先创建，直接使用生产者推送生成，默认创建的topic是1个replication 和3个partition。
Kafka消息语义使用说明
super_wj0820的博客
08-08 594
消息系统系统一般有以下的语义： At most once：消息可能丢失，但不会重复投递 At least once：消息不会丢失，但可能会重复投递 Exactly once：消息不丢失、不重复，会且只会被分发一次（真正想要的） 主要以 0.11 版本作为区分： 0.11 版本之前保证的语义是：至少一次 (At least once) 0.11 之后版本保证的语义是：恰好一次 (Exactly...
kafka无法发送消息问题处理
ado1986的专栏
08-27 8147
往kafka发送消息时失败，抛出错误信息：kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries。列出分析过程和解决方案，遇到问题的朋友可参考。
kafka 发送和接收消息
03-01
消息中间件kafka 进行消息的分发和接收示例 应用中包含分通道发送和多线程接收
c#kafka 发送与接收
12-09
在`kafka-net-demo`压缩包中，你将找到一个完整的C# Kafka发送和接收示例。这个示例将包含创建生产者和消费者对象的代码，以及如何发送和消费消息的具体实现。通过运行这个示例，你可以更好地理解C#与Kafka的集成...
Kafka生产者向kafka发送消息Java代码.zip
最新发布
11-08
在本文中，我们将深入探讨如何使用Java编程语言与Apache Kafka进行交互，特别是关注如何编写一个Kafka生产者来发送消息到Kafka主题。Apache Kafka是一个分布式流处理平台，广泛用于实时数据管道和消息系统，而Java是...
Java使用kafka发送和生产消息的示例
08-27
"Java使用Kafka发送和生产消息的示例" Kafka是一种流行的分布式流处理平台，用于构建实时数据管道和流处理应用程序。Java是最常用的编程语言之一，用于开发基于Kafka的应用程序。本文将介绍如何使用Java发送和生产...
kafka-python批量发送数据的实例
09-19
`KafkaClient`用于连接到Kafka服务器，而`SimpleProducer`则负责发送消息。 ```python from kafka import KafkaClient from kafka.producer import SimpleProducer ``` 接着，定义一个名为`send_data_2_kafka`的...
开发技术-org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = -720899)
JustDI0209的博客
11-17 3676
1、现状： kafka客户端报错---(id: 2147483645 rack: null) dead for group kafka服务端报错---标题 2、方法： 有说是hostname没有匹配上的，但是这边的配置信息是直接写的IP，不存在这个问题。 还有的说是 socket.request.max.bytes 的值太小，需要修改（kafka的配置文件），默认是100M，那么直接修改为200M---209715200 ，然后重启kafka，但是还是报同样的错误。 在排查日志时，发现，ka.
记录kafka踩坑：marking the coordinator (id rack null) dead for group
weixin_48445640的博客
02-27 2368
工作中用java代码连接k8s集群中的kafka集群时消费者java代码一直报异常marking the coordinator (id rack null) dead for group。经过长时间试错，有两点解决办法。 首先，更新pom文件中的kafka-clients版本，我之前用的0.11.0.0版本已经无法完美支持新版本的kafka了，所以改成新版我改为了:2.4.1 第二就是通过idea工具找到该方法，打断点： 在画圈处打断点，发现解析出来的host域名不是在application.yml中配
调整Spark Streaming的日志输出级别，解决Spark Streaming的代码报错：Marking the coordinator * dead for group *
专注于后端开发，时常接触大数据 、人工智能等
05-07 4672
Spark Streaming消费Kafka中的数据，报错如下截图： `19/05/07 17:16:58 INFO AbstractCoordinator: Discovered coordinator slave2:9092 (id: 2147483645 rack: null) for group UserClikAnalysis. 19/05/07 17:17:00 INFO Abstra...
KafkaConsumer 长时间地在poll(long )方法中阻塞
weixin_33939843的博客
08-19 2708
一，问题描述 搭建的用来测试的单节点Kafka集群（Zookeeper和Kafka Broker都在同一台Ubuntu上），在命令行下使用： ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic topicForTest 创建了一个3个分区...
spring boot整合kafka @KafkaListener日志输出dead for group解决办法
xiaoliuyiting的博客
09-06 6832
问题： 2018-09-06 11:43:41.508 |-INFO  [org.springframework.kafka.KafkaListenerEndpointContainer#1-7-C-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator [600] -| Marking the coordinator...
Kakfa异常CommitFailedException
04-20 468
上文中说到Spark Streaming，场景的思路是kafka到spark在到kafka，然后开发另外一个程序从kakfa中消费数据，把数据存储到oracle中。 在测试的时候并没有发现什么问题，...
activeMQ持久化报错的问题
飞鸟的心情
04-23 575
我本地用的是mysql8.0以上，记得要在lib目录中加入响应的jar包。activeMQ持久化，启动activeMQ报错，其中useSSL=false一定要加上，在active.xml中。
FastJson各种用法
qq_41589166的博客
06-01 8333
json背景JSON在短时间内迅速风靡全球，原因有很多如WEB2.0的推动、JSON易用、高性能等等，互联网科技巨头也出了自家json，google有GSON阿里有fastjson，今天我主要讲下fastjson的编程开发案例。JSON优点JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。JSON具体“自我描述性”【方便人阅读和编写。同时也易于机器解析和...
kafka发送消息代码
09-26
在使用spring-kafka发送消息到Kafka时，可以使用以下代码实现： 1. 首先，需要在pom.xml文件中添加spring-kafka依赖： ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.3.7.RELEASE</version> </dependency> ``` 2. 在Spring Boot的配置类中，配置Kafka的相关信息，例如Kafka的地址和端口号： ```java @Configuration @EnableKafka public class KafkaConfig { @Value("${spring.kafka.bootstrap-servers}") private String bootstrapServers; @Bean public ProducerFactory<String, String> producerFactory() { Map<String, Object> configProps = new HashMap<>(); configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class); configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class); return new DefaultKafkaProducerFactory<>(configProps); } @Bean public KafkaTemplate<String, String> kafkaTemplate() { return new KafkaTemplate<>(producerFactory()); } } ``` 3. 在需要发送消息的地方，使用KafkaTemplate发送消息： ```java @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } ``` 以上是使用spring-kafka发送消息到Kafka的代码示例。根据你的具体需求，可以在代码中添加更多的配置和逻辑。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值