【Kafka】报错：Error while fetching metadata with correlation id 1 : {topic_lcc=LEADER_NOT_AVAILABLE}

最新推荐文章于 2024-08-05 16:50:08 发布
最新推荐文章于 2024-08-05 16:50:08 发布
阅读量7.9k 收藏
点赞数
分类专栏： 大数据-kafka 文章标签： kafka LEADER NOT_AVAILABLE
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/103382649
版权
大数据-kafka 专栏收录该内容
402 篇文章 637 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了在CDH环境中遇到Kafka报错`Error while fetching metadata with correlation id`: `LEADER_NOT_AVAILABLE`的问题，分析了可能的原因，包括topic删除、leader选举等，并详细阐述了解决步骤，包括检查并修改`advertised.listeners`参数，清理Zookeeper中的topic信息，以及探讨了Kafka在Windows服务器上的一些坑，如topic命名和删除问题。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Kafka】 WARN Error while fetching metadata with correlation id xx : {UNKNOWN_TOPIC_OR_PARTITION}
九师兄
07-04 1万+
这里明显可以看出来{这里是你写入的topic名称=UNKNOWN_TOPIC_OR_PARTITION} ，而本次报错topic名称是空，应该是用kafka API 写入的时候，传入的topic名称为空，而且，诶呦设置。当kafka 写入的时候topic名称后面一个空格的话，你又不知道，那么也会这样，比如已有一个topic名称。20230926 今日再现了这个问题，是这样的我的一个环境kafka正常，怎么看都正常但是就是无法生产。查看内置消费组topic和我的要发送的topic都是正常的。
kafka常见问题处理
weixin_42324471的博客
03-10 3009
消费消息超时，导致重复消费问题，消息堆积 报错日志示例 org.springframework.kafka.KafkaListenerEndpointContainer#2-0-C-1 org.apache.kafka.clients.consumer.internals.ConsumerCoordinator.maybeAutoCommitOffsetsSync:648 - Auto-commit of offsets {gate_contact_modify-0=OffsetAndMetadata{of
大数据-kafka学习笔记_error while fetching metadata with correlation id(1)
2401_84185471的博客
04-12 721
• batch.size：批次大小，默认16k• linger.ms：等待时间，修改为5-100ms默认是0ms，就是数据一到队列中就发给broker，这样的好处就是实时性好，但是效率低，一次发几条数据总比一次发一条效率高。也不能改太大，太大时效性不好。• compression.type：压缩snappy压缩数据，这样一批次就可以存更多的数据• RecordAccumulator：缓冲区大小，可修改为64m。
【Kafka】报错：Error while fetching metadata with correlation id 1 : {xxxtopic=LEADER_NOT_AVAILABLE}
最新发布
程序人生
08-05 246
通过java spring boot 访问kafka, 异常错误：Producer clientId=producer-1] Error while fetching metadata with correlation id 5 : {xxxxTopic=UNKNOWN_TOPIC_OR_PARTITION
WARN Error while fetching metadata with correlation id 1 : {hotitems=LEADER_NOT_AVAILABLE}
Knight
07-01 1376
进入conf/server.properties 把这行注释取消 加上自己的ip地址 亲测有效
kafka报错Error while fetching metadata with correlation
huaxia2002的博客
08-25 1万+
kafka报错 server.log输出: Error when handling request {topics=[indexing]} (kafka.server.KafkaApis) kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0 运行kafka-console-producer.sh 输出 WARN Error while fetching metadata wit
Flink无法获取Kafka Topic Metadata异常及解决.docx
09-20
在使用 Kafka 0.11.0.1 和 Flink 1.4 进行实时计算时，Flink 无法获取 Kafka Topic Metadata，报以下异常：org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic metadata。...
kafka 解决log4j:ERROR Failed to rename错误解决办法错误的jar包
10-31
log4j:ERROR Failed to rename
kafka_exporter-1.6.0.linux-amd64.tar.gz
09-06
标题中的"kafka_exporter-1.6.0.linux-amd64.tar.gz"是一个针对Linux AMD64架构的Kafka Exporter版本1.6.0的压缩文件，通常用于在Prometheus监控环境中收集和暴露Kafka集群的度量数据。 Kafka Exporter是一款开源...
Kafka配置参数详解 - 网络技术.rar_KAFKA broker_Kafka配置参数详解_kafka
09-14
格式为`host1:port1,host2:port2,...`。Zookeeper是Kafka的依赖，用于存储元数据信息。 3. **advertised.listeners**: 这个参数指定Kafka broker对外提供的监听器地址，用于消费者和生产者连接。格式通常是`...
apache-kafka-documentation-cn.zip_apache kafka_kafka
09-23
Apache Kafka 是一个分布式流处理平台，由LinkedIn 开发并捐赠给了Apache 软件基金会，现在已成为大数据领域的重要组件。Kafka 主要用于构建实时数据管道和流应用，它能够高效地处理大量的实时数据，同时提供了消息...
WARN Error while fetching metadata with correlation id 1 : {first=LEADER_NOT_AVAILABLE} (org.apache.
zuodingquan666的博客
09-01 2250
搭建Kahka集群的时候，创建生产者是遇到的问题，大坑，所以记录下来 报错： 其实就是无法识别leader，那么就是当前主机变得无法识别 解决方法： 配置listeners，后面接本机的ip地址就好。 如果你是集群的话，其他服务器上kafka也按照这个步骤来就好了 测试： 结果：生产者生产信息成功，消费者消费信息成功。 ...
Error while fetching metadata with correlation id 4 : {first2=LEADER_NOT_AVAILABLE}
不以物喜的博客
05-13 4596
1 Kafka报错： 1)Error while fetching metadata with correlation id 4 : {first2=LEADER_NOT_AVAILABLE} 2)onnection to node -1 could not be established. Broker may not be available. 使用KAFKA的JAVA-API，远程连接kafka服务器，出现如下报错 Error while fetching metadata with correlati
大数据-kafka学习笔记_error while fetching metadata with correlation id
2401_84185106的博客
04-08 2519
外链图片转存中…(img-3djsPkFd-1712574094642)]
大数据-kafka学习笔记
weixin_52938172的博客
09-19 3873
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。
kafaka问题：Error while fetching metadata with correlation id 40
hc的博客
08-09 1650
kafka问题 修改
Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE} 正确处理姿势
热门推荐
AI
05-18 12万+
kafka出现:Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE}表示无法识别kafka hostname正确处理姿势1、修改server.properties如下，目的是让kafka监听的到vi /opt/kafka/kafka/config/server.properties2 ps...
kafka遇到Error while fetching metadata xxx: {LEADER_NOT_AVAILABLE}
yizhiniu_xuyw的专栏
09-30 1万+
网上和本人遇到的不太一样： 有几种情况： 1.少broker或者broker没有运行：https://www.cnblogs.com/yoyowin/p/13091694.html 2.kafka的IP配置为外网IP，但是外网端口没屏蔽的：https://blog.csdn.net/lsr40/article/details/92789081 本人是运维重启kafka，没有做任何修改，验证是否正常重启时， 1. 启动kafka-console-producer.sh 2.启动kafka-cons
Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE}解决
csdn_xpw的博客
03-29 2万+
kafka报错报错信息处理步骤 报错信息 在终端执行kafka发送、消费消息遇到如下错误 Error while fetching metadata with correlation id 2 : {abc123=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient 处理步骤 1 2 ps -ef | grep kafka ...
如何捕获kafka报错信息
07-29
要捕获Kafka的报错信息，你可以通过使用Spring Kafka提供的错误处理器(Error Handler)来实现。下面是一种常见的处理方式： 1. 创建一个实现ErrorHandler接口的自定义错误处理器类，用于处理Kafka报错信息。 ```java import org.apache.kafka.clients.consumer.ConsumerRecord; import org.springframework.kafka.listener.ErrorHandler; import org.springframework.kafka.listener.ListenerExecutionFailedException; import org.springframework.kafka.support.Acknowledgment; import org.springframework.util.backoff.BackOff; import org.springframework.util.backoff.FixedBackOff; public class CustomErrorHandler implements ErrorHandler { @Override public void handle(Exception thrownException, ConsumerRecord<?, ?> record, Consumer<?, ?> consumer, MessageListenerContainer container) { // 捕获Kafka报错信息并进行处理 if (thrownException instanceof ListenerExecutionFailedException) { ListenerExecutionFailedException failedException = (ListenerExecutionFailedException) thrownException; // 获取异常的原因并进行相应的处理 Throwable cause = failedException.getCause(); if (cause != null) { // 处理异常信息 } } // 可以选择进行一些其他操作，如重试或记录错误日志 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord) { // 处理没有指定消费者和容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer) { // 处理没有指定容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer, String s) { // 处理没有指定容器和主题的情况 } } ``` 在上面的例子中，我们创建了一个CustomErrorHandler类来自定义错误处理。在handle方法中，我们可以捕获Kafka报错信息并进行相应的处理，如记录日志、重试等。 2. 在Kafka消费者配置中设置自定义错误处理器。 ```java @Configuration @EnableKafka public class KafkaConsumerConfig { @Bean public ConsumerFactory<String, String> consumerFactory() { // 创建ConsumerFactory配置... } @Bean public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); // 设置自定义错误处理器 factory.setErrorHandler(new CustomErrorHandler()); return factory; } } ``` 在上面的例子中，我们通过设置ConcurrentKafkaListenerContainerFactory的setErrorHandler方法来指定使用自定义的错误处理器。 通过以上步骤，你就可以使用自定义的错误处理器来捕获Kafka的报错信息，并根据需要进行相应的处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值