kafka消费者发消息失败

最新推荐文章于 2025-01-15 16:36:16 发布
最新推荐文章于 2025-01-15 16:36:16 发布
阅读量3.5k 收藏 10
点赞数 4
分类专栏： kafka 文章标签： 大数据 kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mrs_WuHo_O/article/details/105239316
版权
本文解决了一个常见的Kafka生产者错误，当尝试使用kafka-console-producer.sh向testTopic主题发送消息时，遇到LEADER_NOT_AVAILABLE警告。通过修改server.properties文件并添加容器IP地址，可以解决此问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

报错如下

./kafka-console-producer.sh --broker-list 容器ip:9092 --topic testTopic
>1
[2020-04-01 01:42:01,606] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 1 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:01,698] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 2 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:01,812] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 3 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:01,921] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 4 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:02,029] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 5 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:02,152] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 6 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:02,260] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 7 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:02,374] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 8 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:02,481] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 9 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:02,594] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 10 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:02,704] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 11 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:02,811] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 12 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:02,923] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 13 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
[2020-04-01 01:42:03,037] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 14 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
^Corg.apache.kafka.common.KafkaException: Producer closed while send in progress
    at org.apache.kafka.clients.producer.KafkaProducer.doSend(KafkaProducer.java:888)
    at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:865)
    at kafka.tools.ConsoleProducer$.send(ConsoleProducer.scala:75)
    at kafka.tools.ConsoleProducer$.main(ConsoleProducer.scala:57)
    at kafka.tools.ConsoleProducer.main(ConsoleProducer.scala)
Caused by: org.apache.kafka.common.KafkaException: Requested metadata update after close
    at org.apache.kafka.clients.producer.internals.ProducerMetadata.awaitUpdate(ProducerMetadata.java:104)
    at org.apache.kafka.clients.producer.KafkaProducer.waitOnMetadata(KafkaProducer.java:1029)
    at org.apache.kafka.clients.producer.KafkaProducer.doSend(KafkaProducer.java:885)
    ... 4 more
解决办法：

修改server.properties文件

在这两个地方加上容器ip

Kafka 异常错误集
野狼e族 的博客
05-24 2430
1、启动生产者进程：[root@VM_0_16_centos config]#  kafka-console-producer.sh --broker-list  hadoop000:9092 --topic testsss[2018-05-08 22:56:08,946] WARN Error while fetching metadata with correlation id 0 : {te...
启动kafka无反应_kafka 生产发送消息失败无响应，或者Error while fetching metadata with correlation id...
weixin_35663032的博客
12-23 3404
今天在使用代码编写kafka 生产者发送消息的时候，因为我的手误出现的搞笑的事情。同样的代码和kafka 在不久前执行过，是没有问题的。 代码如下package streaming.utilsimport java.utilimport java.util.{Date, Properties, UUID}import com.alibaba.fastjson.JSONObjectimport or...
WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may
翻身咸鱼的博客
06-12 4万+
kafka连接生产者（消费者其实也一样的问题）出现了下面这个报错：（WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)找到配置文件在...
Error while fetching metadata with correlation
data_data_amtime的博客
01-21 2752
kafka 版本： 2.7.0 ， 集群情况 注意版本，不同的版本情况不一样。我以 2 .7 为例 首先配置：config/server.properties advertised.listeners: 把注释去掉，在PLAINTEXT://后面放入你的公网ip 如：PLAINTEXT://192.168.0.1：9092 如下异常： xxx [2021-01-21 10:59:28,658] WARN [Producer clientId=console-producer] Connection to
Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE} 正确处理姿势
热门推荐
AI
05-18 13万+
kafka出现:Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE}表示无法识别kafka hostname正确处理姿势1、修改server.properties如下，目的是让kafka监听的到vi /opt/kafka/kafka/config/server.properties2 ps...
flume 对接 kafka 报错： Error while fetching metadata with correlation id 35 {=INVALID_TOPIC_EXCEPTION}
stable_zl的博客
03-08 4029
flume 对接 kafka 报错：Error while fetching metadata with correlation id 35 : {=INVALID_TOPIC_EXCEPTION} 特此写篇博客记录一下自己一个 sb 的问题（看见日志以后熟视无睹，反而以为框架有问题了） 在写用 flume 获取 hive 日志中的文件，在拦截器种依据 INFO、WARN、ERROR、DEBUG ...
消费者处理消息失败如何解决
一蓑烟雨任平生
04-27 1321
综上所述，处理Kafka消费者消息失败的方法涉及多个层面，包括实时监控、重试策略、故障隔离、死信队列、持久化存储、事务处理、配置优化以及运维干预。结合具体业务场景和系统架构，选择合适的方法组合来构建健壮的消息处理流程。当Kafka消费者处理消息失败时，采取适当的策略来确保数据的正确处理和系统的稳定运行至关重要。
springboot整合kafka消费者最佳实践
todoitbo的博客
04-19 1万+
本文将深入介绍如何利用Spring Boot整合Kafka实现消费者，探讨其原理和实现步骤。通过详细的解释和示例代码，读者将学会如何使用Spring Boot轻松构建高效的Kafka消费者，实现实时数据处理。
Kafka消费者
金州饿霸吃不饱的博客
01-15 1432
可以理解为分配的结果带有“粘性的”。即在执行一次新的分配之前，考虑上一次分配的结果，尽量少的调整分配的变动，可以节省大量的开销。粘性分区是Kafka从0.11.x版本开始引入这种分配策略，首先会尽量均衡的放置分区到消费者上面，在出现同一消费者组内消费者出现问题的时候，会尽量保持原有分配的分区不变化。1）需求设置主题为first，7个分区；准备3个消费者，采用粘性分区策略，并进行消费，观察消费分配情况。然后再停止其中一个消费者，再次观察消费分配情况。2）步骤（1）修改分区分配策略为粘性。
深入学习Kafka数据消费大致流程（如何创建并使用Kafka消费者）
2301_79098686的博客
05-03 1118
我还通过一些渠道整理了一些大厂真实面试主要有：蚂蚁金服、拼多多、阿里云、百度、唯品会、携程、丰巢科技、乐信、软通动力、OPPO、银盛支付、中国平安等初，中级，高级Java面试题集合，附带超详细答案，希望能帮助到大家。还有专门针对JVM、SPringBoot、SpringCloud、数据库、Linux、缓存、消息中间件、源码等相关面试题。O、银盛支付、中国平安等初，中级，高级Java面试题集合，附带超详细答案，希望能帮助到大家。**
Spring-kafka消费者消费的一些问题
欲望以提升热忱 毅力以磨平高山
06-16 1707
Apache Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用程序。发布和订阅记录流：类似于消息队列或企业消息传递系统。存储记录流：存储数据流容错。处理记录流：实时或批处理方式处理数据流。Spring Kafka 是 Spring 框架的一个子项目，提供了用于与 Kafka 集成的便捷工具和抽象。Spring Kafka 包含在 Spring Boot 项目中，使得 Kafka 消息处理在 Spring 应用程序中变得更加容易和直观。
大数据-kafka学习笔记
weixin_52938172的博客
09-19 4322
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。
WARN [Producer clientId=console-producer] Error: NOT_LEADER_FOR_PARTITION
weixin_44264223的博客
03-18 3065
[2021-03-18 18:04:23,503] WARN [Producer clientId=console-producer] Got error produce response with correlation id 17 on topic-partition sensors-0, retrying (2 attempts left). Error: NOT_LEADER_FOR_PARTITION (org.apache.kafka.clients.producer.internals.Sen
大数据-kafka学习笔记_error while fetching metadata with correlation id
2401_84185106的博客
04-08 3133
外链图片转存中…(img-3djsPkFd-1712574094642)]
Kafka 集群配置SASL+ACL
qq_39458487的博客
03-28 5992
Kafka 集群配置SASL+ACL 一、简介 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafka集群，就可以操作集群上的所有主题了。由于没有权限控制，集群核心的业务主题时存在风险的。 本文主要使用SASL+ACL 二、技术关键点 配置文件 修改broker启动所需
30个Kafka常见错误小集合
东城庞太师
08-06 1万+
本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。 1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition 报错内容：分区数据不在 原因分析：producer向不存在的topic发送消息，用户可以检查topic是否存在 或者设置auto.creat
关于org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.问题的解决
weixin_42558056的博客
08-07 2万+
关于org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.问题的解决 今天在测试自己编写的kafka消息发送接收小例子时，一直报org.apache.kafka.common.errors.TimeoutException: Failed to update metadat...
Springboot连接kafka异常Failed to update metadata after 60000 ms.
yjt520557的博客
03-19 2万+
异常信息： [Consumer clientId=consumer-1, groupId=test] Connection to node -1 could not be established. Broker may not be available. WARN 10176 --- [ad | producer-1] org.apache.kafka.clients.NetworkClie...
c++Kafka消费者消费最新消息
最新发布
04-01
<think>好的，我需要回答用户关于C++中使用Kafka消费者消费最新消息的问题。首先，我得回想一下Kafka的基本概念和消费者的工作机制。Kafka消费者需要订阅主题，然后从指定的分区拉取消息。用户提到“消费最新消息”，可能指的是从当前时刻开始获取新产生的消息，而不是处理之前的历史消息。 接下来，我需要考虑如何在C++中配置消费者以从最新的偏移量开始消费。Kafka的配置参数中有个auto.offset.reset，这个参数决定了当消费者没有初始偏移量或偏移量失效时的行为。通常可以设置为latest，这样消费者会从最新的消息开始消费。不过，这个默认行为可能因版本或配置而异，所以需要明确设置。 然后，我要想到C++的客户端库，比如librdkafka，它是常用的Kafka客户端库。用户需要正确初始化消费者，配置正确的broker地址，设置消费者组ID，并指定auto.offset.reset为latest。此外，还需要处理消息的拉取和提交偏移量的问题，确保不会重复消费或者丢失消息。 可能还需要提到消费者组的协调机制，如果有多个消费者在同一个组内，分区会被分配，每个消费者负责一部分分区。但用户如果只是单消费者，可能不需要考虑这些。另外，需要注意提交偏移量的方式，自动提交可能会有延迟，手动提交可以更精确控制，但需要处理错误情况。 用户可能遇到的问题包括配置错误导致消费旧数据，或者没有正确处理消息循环导致无法持续获取新消息。需要提醒用户检查配置，正确处理消息循环，以及错误处理机制。 最后，应该给出一个简单的代码示例，展示如何配置消费者，订阅主题，并循环拉取新消息。确保代码中使用正确的配置参数，并解释关键步骤，比如设置auto.offset.reset，订阅主题，poll消息等。 检查是否有遗漏的步骤，比如消费者的正确关闭，资源释放等，但可能不需要在基础示例中详细展开。确保提到的内容结构清晰，步骤明确，帮助用户一步步实现目标。</think>以下分步骤介绍如何在C++中使用Kafka消费者消费最新消息： 1. 环境准备 - 安装librdkafka库：C++通过librdkafka库操作Kafka - 添加头文件：`#include <librdkafka/rdkafkacpp.h>` - 链接库文件：编译时添加`-lrdkafka++`参数 2. 关键配置参数 ```cpp std::string errstr; RdKafka::Conf *conf = RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL); // 必须配置项 conf->set("bootstrap.servers", "localhost:9092", errstr); // Broker地址 conf->set("group.id", "test_group", errstr); // 消费者组ID // 关键行为配置 conf->set("auto.offset.reset", "latest", errstr); // 从最新偏移量开始消费 conf->set("enable.auto.commit", "true", errstr); // 自动提交偏移量(默认true) ``` 3. 创建消费者实例 ```cpp RdKafka::KafkaConsumer *consumer = RdKafka::KafkaConsumer::create(conf, errstr); if (!consumer) { std::cerr << "Failed to create consumer: " << errstr << std::endl; delete conf; return; } ``` 4. 订阅主题 ```cpp std::vector<std::string> topics = {"test_topic"}; RdKafka::ErrorCode err = consumer->subscribe(topics); if (err) { std::cerr << "订阅失败: " << RdKafka::err2str(err) << std::endl; delete consumer; return; } ``` 5. 消费消息核心逻辑 ```cpp while (true) { RdKafka::Message *msg = consumer->consume(1000); // 超时1秒 switch (msg->err()) { case RdKafka::ERR__TIMED_OUT: break; // 正常超时，继续轮询 case RdKafka::ERR_NO_ERROR: // 成功获取消息 std::cout << "收到消息: " << static_cast<const char *>(msg->payload()) << std::endl; break; default: std::cerr << "消费错误: " << msg->errstr() << std::endl; break; } delete msg; // 必须释放消息对象 } ``` 关键注意事项： 1. 偏移量控制 - `auto.offset.reset`设置为`latest`时，消费者组首次启动才会生效 - 已提交偏移量后，消费者会从上次提交位置继续消费 - 使用`consumer->seek(...)`可手动调整偏移量 2. 消费者组行为 - 同一消费者组内的消费者会自动平衡分区分配 - 新消费者加入时触发rebalance，可能导致短暂消费暂停 - 使用`enable.auto.commit=false`可改为手动提交偏移量 3. 性能优化建议 ```cpp conf->set("fetch.wait.max.ms", "100", errstr); // 最大等待时间 conf->set("fetch.message.max.bytes", "1048576", errstr); // 单次最大拉取量 conf->set("queued.min.messages", "1000", errstr); // 最小缓存消息数 ``` 4. 关闭清理 ```cpp consumer->close(); // 停止消费 delete consumer; // 释放内存 RdKafka::wait_destroyed(5000); // 等待资源释放 ``` 完整示例流程： 1. 初始化配置 → 2. 创建消费者 → 3. 订阅主题 → 4. 持续轮询 → 5. 处理消息 → 6. 关闭资源 常见问题排查： - 未收到新消息：检查`auto.offset.reset`是否为`latest` - 重复消费：检查消费者组ID是否唯一，确认自动提交是否生效 - 消费延迟：调整`fetch.wait.max.ms`和`queued.min.messages`参数 进阶功能： - 使用`assign()`指定特定分区消费 - 实现`RebalanceCb`回调处理分区分配变化 - 使用`commitSync()`/`commitAsync()`手动控制偏移量提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值