【Kafka】Kafka topic 的消费组 出现 CURRENT_OFFSET 为 unknown

最新推荐文章于 2023-07-21 16:51:13 发布
最新推荐文章于 2023-07-21 16:51:13 发布
阅读量5.2k 收藏 1
点赞数 1
分类专栏： 大数据-kafka
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106685747
版权
大数据-kafka 专栏收录该内容
401 篇文章 635 订阅 ¥99.90 ¥299.90
订阅专栏
本文由九师兄原创，介绍了一个在查询Kafka消费者详情时遇到的问题，即CURRENT_OFFSET显示为unknown。这通常是由于设置的日志清除时间与消费者实际消费之间存在时间差，当清除点在消费者之后时，先前的日志被删除，从而导致查询结果为unknown。
摘要由CSDN通过智能技术生成

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

文章目录


在这里插入图片描述

1.背景

如下如，查询某个消费者的详情的时候出现CURRENT_OFFSET 为 unknown
在这里插入图片描述
这是因为设置了日志清除时间，然后在到期之前这个消费组一直没消费数据，导致清除的日志在你的消费之后了


=================>消费点
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
订阅专栏
【Kafka】kafka Current offset xxx for partition xxx out range
九师兄
09-12 2092
1.背景 kafka报错 kafka Current offset xxx for partition xxx out range
使用kafka-consumer-group.sh查看消息消费情况，CONSUMER-ID，HOST，CLIENT-ID不显示问题分析
z435128234的博客
12-14 2230
使用kafka-consumer-group.sh查看消息消费情况，CONSUMER-ID，HOST，CLIENT-ID不显示问题分析
Kafka的偏移量到底是什么，手动维护又是什么
别人笑我太疯癫，我笑他人看不穿。
03-30 4146
有很多小伙伴不知道Kafka的偏移量说的到底是什么，导致使用它的时候迷迷糊糊的，现在我给大家用最简单的方式说说这个东西到底是什么 首先偏移量是一个比较官方的说法，其实它就是两个数字，一个表示这当前数据消费的位置，另一个代表着数据量最大位置，我在网上随便找了一个kafka0.10以后自带的偏移量维护脚本所展示的信息，大家看一下，让大家先从最源头的kafka端看一下偏移量到底长的是什么样的字 如上图展示的信息当中详细的展示了消费者组对应一个主题下所有分区的偏移量，以及对应的消费者线程，其中我们重点看CURRE
sheng的学习笔记-kafka框架原理
coldstarry的专栏
02-14 933
环境搭建 官网地址：Apache Kafka 下载安装包，注意下载bin的，别下载src的 修改配置文件，在config中修改server.properties listeners=PLAINTEXT://127.0.0.1:9092 基础知识 代码 持久化 事务 签收 协议 集群 ......
kafka 坑爹问题排查记录
a290450134的博客
09-03 2372
重点、重点、重点: 重启kafka一定要先看看持久化有没有问题。 首先，问题没有解决，只是阐述过程和问题。 问题关键字：偏移量提交失败，重复消费，新的group不能消费到历史数据 版本：0.10.2 场景：consumer两个group进行消费，但是偏移量从某一时间点开始就无法进行提交。一直在循环消费一个时间段的数据。 尝试重启项目，还是不能正常进行消费，偏移量还...
Kafka 重启消费者后，从分区的哪里开始重新消费（队列头？队列尾？上一次消费位置？），auto.offset.reset
祁东握力的博客
09-22 9358
这篇文章不错，先看这篇https://blog.csdn.net/lishuangzhe7047/article/details/74530417 看文章时注意一些关系： CURRENT-OFFSET这个表示消费者消费了数据之后提交的offset，即消费者消费了的数据的偏移量。如果为unknown，则表示消费者未提交过offset。 LOG-END-OFFSET这个应该表示的是该分...
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区
01-04
在本项目中，我们将深入探讨如何使用Spring Boot与Kafka进行集成，实现一个实战项目，包括Kafka的生产者、消费者以及如何创建Topic，并且特别关注指定消费分区这一高级特性。Kafka是一款高吞吐量的分布式消息系统，...
kafka_topic创建、分区、删除管理
11-23
在分布式消息系统Kafka中，Topic是数据的逻辑存储单元，它是消息的分类或主题。本文将深入探讨如何管理和操作Kafka的Topic，包括创建、查看、分区以及删除等核心概念。 **创建Topic** 在Kafka中，创建Topic通常通过...
kafka-manager最新编译版1.3.3.22，解决了异常Unknown offset schema version 3
04-17
“Unknown offset schema version 3”异常通常是由于消费者使用的offset存储格式与Kafka集群不一致导致的。在早期版本的Kafka中，offsets存储在ZooKeeper中，而Kafka 0.9之后，offsets被迁移至内置的Offset存储，这...
golang kafka sarama 消费者组
01-20
`Initial` 属性设为 `-2`，表示如果找不到组消费位移，则从最早的offset开始消费。`ChannelBufferSize` 设置了消费通道的大小，这将影响并发处理消息的能力。 接下来，使用配置创建了`ConsumerGroup`对象，并启动一...
kafka监控获取指定topic的消息总量示例
09-18
public final static String KAFKA_TOPIC_NAME_EXCEPTION = "exception"; public final static String KAFKA_TOPIC_NAME_AUDIT = "audit"; // ...其他常量 public KafkaOffsetTools() {} // 获取指定topic和...
kafka消费报错 UNKNOWN_TOPIC_OR_PARTITION
小驴
05-06 1万+
2022-05-06 13:50:38.624 [kafka-producer-network-thread | producer-1] LEVEL.WARN [traceId:] o.apache.kafka.clients.NetworkClient.handleSuccessfulResponse(1070) - [Producer clientId=producer-1] Error while fetching metadata with correlation id 6823 : {inv
【kafka】Kafka 之 Group 状态变化分析及 Rebalance 过程
九师兄
02-01 2928
文章目录1.概述2. Group 状态机3.offset 那些事4.Topic __consumer_offsets5.GroupCoordinator6.状态转移图7.Consumer 初始化8.Consumer poll 过程解析9.Consumer 初始化时 group 状态变化10.Consumer Rebalance 1.概述 转载：Kafka 之 Group 状态变化分析及 Rebalance 过程 前段时间看一下 Kafka 的部分源码（0.10.1.0 版），对一些地方做了一些相应的总结。
kafka查询offset&生产者offset计算&消费offset计算
qq_51785096的博客
01-08 4620
对kafka做监控，需要获取到kafka接收到消息的offset和被消费者消费掉消息的offset，编写接口将数值交给prometheus，直接观察判断kafka的消费性能如何。
Kafka提交偏移量的五种方式
热门推荐
qq_35689573的博客
02-01 1万+
讨论偏移量我们首先要知道如何查看偏移量及消费者目前消费的偏移量 ./kafka-consumer-groups.sh --describe --bootstrap-server 192.168.153.128:9092 --group ConsumerGroup3 Consumer group 'ConsumerGroup3' has no active members：可以看到我们这个消...
kafka—offset偏移量
weixin_44604159的博客
11-06 2410
1.offset基本概念 2.offset的提交 3.消费者优化
分布式 - 消息队列Kafka：Kafka分区常见问题总结
你今天真好看呀
07-21 1685
如果某个 Broker 上的领导者分区数量超过了平均值的 10%，则该 Broker 将不再接受新的领导者分区，直到其他 Broker 上的领导者分区数量增加，使得整个集群的领导者分区数量平衡。比如很多公司使用 Kafka 收集应用服务器的日志数据，这种数据都是很多的，特别是对于那种大批量机器组成的集群环境，每分钟产生的日志量都能以 GB 数，因此如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就成为一个非常重要的问题。并且，我们还可以通过添加新的节点机器来增加整体系统的吞吐量。
深入解析Kafka的offset管理
longzorg_cn的博客
12-28 4946
但是无法做到真正的负载均衡，因为实际系统中的每个生产者产生的消息量及每个Broker的消息存储量都是不一样的，如果有些生产者产生的消息远多于其他生产者的话，那么会导致不同的Broker接收到的消息总数差异巨大，同时，生产者也无法实时感知到Broker的新增和删除。在众多leader的转移过程中，就会产生leader不均衡现象，可能一小部分broker上有大量的leader，影响了整个集群的性能，所以就需要把leader调整回最初的broker上，这就需要Preferred leader选举。
kafka_exporter无法采集到kafka的kafka_topic_partition_current_offset指标
最新发布
07-17
如果你遇到无法获取 `kafka_topic_partition_current_offset` 指标的问题，可能是以下几个原因： 1. **权限不足**：检查你的应用程序是否有足够的权限访问 Kafka 某些主题的分区信息。通常需要配置成生产者、消费者...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值