【Kafka】kafka console received unknown topic or partition error listOffset request

最新推荐文章于 2024-08-05 16:50:08 发布
最新推荐文章于 2024-08-05 16:50:08 发布
阅读量3.9k 收藏 1
点赞数
分类专栏： 大数据-kafka 文章标签： console kafka listOffset reuest unknown
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/109774757
版权
大数据-kafka 专栏收录该内容
402 篇文章 639 订阅 ¥99.90 ¥299.90
订阅专栏
本文分析了Kafka控制台消费时遇到的'unknown topic or partition'错误，主要涉及场景1和场景2。在场景1中，问题源于producer向不存在的topic发送消息，解决方案包括检查topic存在性和调整配置。场景2中，错误出现在listOffset操作，通过源码分析找到解决办法——重启Kafka。此外，错误可能与分区数据丢失和topic写错有关。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.场景1

1.1.概述

kafka 控制台消费报错.

在这里插入图片描述
实际环境如下
在这里插入图片描述

这里主要是有一个前置机，而且不确定蓝色的是否存在。

假设消费组消费kafka的partition3然后，前置机却把消息转发到了kafka1.按理说kakfa1找不到的时候，会将请求转发到kafka3，但是实际上不是这样的。

报错信息我在kafka 0.10.0版本中没找到，在1.1版本有这个信息，同时kafka 2.6 也是有这个信息的。

1.1版本源码如下，

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【kafka】Flink 消费 kafka Received unknown topic topic/partition may not exist Describe access to it
九师兄
07-10 3407
flink 消费kafka ，然后消费代码没有改变，然后我们的服务升级，kafka版本没变，flink消费的代码没变。但是在有的环境升级不报错 ，有的报错，出现过2次。报错具体内容如下查看topic的时候如下看起来topic是正常的。然后重启一下就好了。
【Kafka】ERROR Error when sending message to topic topic_lcc with key: null, value: 4 bytes with error
九师兄
08-06 2300
发现所有的分区都是正常的,而且上图我的机器都是好的。这个topic是一个分区，没有副本，然后会导致这个topic只能建立在一台机器上，万一这个建立的机器挂了。然后查了一下，最后发现原来是kafka_node1节点挂了，然后我换个机器就可以了。这说明一个问题，我们往哪里发送数据的时候，这台机器会负责key的生成？在上面的基础上想远程连接，然后设置如下。然后其他的topic都是正常的。然后其他的topic都是正常的。我有3台机器，然后分别是。我有3台机器，然后分别是。然后新建一个topic。
[异常处理]class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)...
weixin_30713953的博客
07-23 528
在kafka.out日志里出现大量ERROR [ReplicaFetcherThread-0-1], Error for partition [FLAG_DATA_SYC,1] to broker 1:class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)这是因为删除topi...
【Kafka】报错：Error while fetching metadata with correlation id 1 : {xxxtopic=LEADER_NOT_AVAILABLE}
最新发布
程序人生
08-05 420
通过java spring boot 访问kafka, 异常错误：Producer clientId=producer-1] Error while fetching metadata with correlation id 5 : {xxxxTopic=UNKNOWN_TOPIC_OR_PARTITION
kafka消费报错 UNKNOWN_TOPIC_OR_PARTITION
小驴
05-06 1万+
2022-05-06 13:50:38.624 [kafka-producer-network-thread | producer-1] LEVEL.WARN [traceId:] o.apache.kafka.clients.NetworkClient.handleSuccessfulResponse(1070) - [Producer clientId=producer-1] Error while fetching metadata with correlation id 6823 : {inv
[异常处理]class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)
asdfgh0077的博客
08-25 317
[异常处理]class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)
Fetcher分析
happy19870612's blog
06-01 6036
Fetcher: 根据offset从服务器端获取数据,发送FetchRequest请求获取指定的消息集合，处理FetchResponse,更新消息位置   一 比较重要的字段 ConsumerNetworkClient client: 负责网络通信，发送请求 int minBytes：在服务器端收到FetchRequest之后，并不是立即响应，而是当可返回的消息数据积累到至少在minbyt
给年轻程序员的几句话
weixin_30412013的博客
09-14 291
我收到了不少新手的来信，他们都希望能成长为一名真正的程序员。我绝对不是第一个谈论这个话题的人，所以，我不知道应该做哪方面的补充。不管怎样，下面的是一些一直记在我心头的、有必要读一下的建议： 找其他开发人员合作开发。我们正处在科技历史上第一个绝好的时代，你几乎不用在意在哪工作、为谁工作。只要你 有一个还过得去的网络，你就可以和另外一个在世界任何角落里的人一起来完成某段程序。我知道，越来越...
Kafka集群安装和使用
欢迎访问胡宝全的博客
05-02 539
Kafka集群安装 安装Kafka之前需安装Zookeeper：https://hubaoquan.cn/zookeeperanzhuangjijiandanshiyong/ 1.集群规划 ip:10.7.68.213 主机名：ecs-az3-yc-0020 实例id: broker.id=0 ip:10.7.68.188 主机名：ecs-az3-yc-0021 实例id: broker.id=...
Kafka生产者客户端几种异常Case详解
石臻臻的杂货铺(szzdzhp001)
05-13 3855
kafka生产者常见问题解析
【kafka】kafka Selector Timeout of expired before the position for partition could be determined
九师兄
04-25 1954
flink消费kafka报错请问flink本机可以连接kafka、但是仍到测试环境就连不上idea跑是正常得，打包仍上去，不报错，运行几分钟后就是上面得的异常每条Kafka的数据大小不大。
webservice工具
07-14
java写的调用webservice接口的程序，需要在安装jdk环境下运行
kafka 异常：org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host
hugo_lei的博客
05-06 1万+
org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition。 producer 向一个之前不存在的 topic 写数据，因此时 topic 正在创建中 producer 就发送了数据，因此 topic 不存在。这是一个可重试异常，也既等一会再发送数据就可以了，因此 producer 需要加入重试 retry 逻辑。
kafka消费者（八）：Fetcher
lianggx3的博客
08-03 1452
上次我们介绍了offset操作的原理，下面介绍消费者如何从服务端获取消息。Fetcher类的主要功能是发送Fetcher请求，获取指定消息集合，处理FetchResponse，更新消息位置。 public class Fetcher<K, V> { //client负责网络通信 private final ConsumerNetworkClient client; ...
30个Kafka常见错误小集合
东城庞太师
08-06 1万+
本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。 1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition 报错内容：分区数据不在 原因分析：producer向不存在的topic发送消息，用户可以检查topic是否存在 或者设置auto.creat
kafka:UNKNOWN_TOPIC_OR_PARTITION
热门推荐
高矮
08-23 3万+
Error while fetching metadata with correlation id 11 : {xxxx=UNKNOWN_TOPIC_OR_PARTITION} 可能原因： topic不存在，切自动创建失败 设置： auto.create.topics.enable=true ...
（十三）处理暂存状态的响应消息
weixin_37850264的博客
01-08 525
文章目录追踪Poll从poll里面进入slector的poll调用addToStagedReceives（）进行消息处理(把接收的数据加入到待处理队列)；selector的poll（）addToCompletedReceives()，把响应存入到completedReceives其实真正处理响应是在 Networkclient的poll，步骤三又把请求响应封装存入到response 追踪Poll 从poll里面进入slector的poll调用addToStagedReceives（）进行消息处理(把接收的
源码分析Kafka 消息拉取流程
中间件兴趣圈
12-08 2567
本节重点讨论 Kafka 的消息拉起流程。 本节目录１、KafkaConsumer poll 详解1.1 KafkaConsumer updateAssignmentMetadataIfNeeded 详解1.1.1 ConsumerCoordinator#poll1.1.2 updateFetchPositions 详解1.2 消息拉取2、Fetcher 类详解2.1 类图2.2 Fetcher ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值