【Kafka】Kafka获取消费组位置position()方法卡死

最新推荐文章于 2025-05-16 17:20:44 发布

九师兄

最新推荐文章于 2025-05-16 17:20:44 发布

阅读量181

点赞数 9

分类专栏： 2025最新-大数据-kafka 文章标签： kafka 分布式

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/135298490

版权

2025最新-大数据-kafka 专栏收录该内容

426 篇文章 ¥99.90 ¥299.90

订阅专栏

文章目录

1.概述
M.扩展

1.概述

我以前写了如下的代码，获取topic分区的位置，然后发现有时候会卡死，代码如下

	/**
     * 获取topic的结束位置
     *
     * @param consumer
     * @param topicPar
     * @return
     */
    public static Map<TopicPartition, Long>

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

9
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

【Kafka】kafka启动卡死 Loading producer state till offset Loaded index file

九师兄

03-10

排查问题的时候，我们要做删除topic，然后重启kafka，但是发现其他节点都重启的很快，但是有台机器启动很慢，而且日志卡着了。卡的很久，都不见新的日志，但是前面是没有报错的。这个一看就是在加载索引文件，但是我们最后整整等了20分钟才加载好，但是其他机器很快，这个不清楚是为什么差距这么大。如果日志段文件损坏，可能导致加载失败。然后我们打开这个server节点的debug日志，然后可以看到日志中一直打印DEBUG日志。发现这个日志里面有600多G的数据，然后查看其他启动快的机器，发现只有300G左右。

【kafka】记一次线上kafka一直rebalance故障消费慢数据积压

九师兄

11-18

3932

文章目录1.背景2. 分析问题3.分析原因4.拉取偏移量与提交偏移量5.解决方案5.1.增加max.poll.interval.ms处理时长5.2设置分区拉取阈值5.3.poll到的消息，处理完一条就提交一条，当出现提交失败时，马上跳出循环，这时候kafka就会进行rebalance,下一次会继续从当前offset进行消费。6.场景再现27.场景再现3 1.背景今天我司线上kafka消息代理出现错误日志，异常rebalance，而且平均间隔2到3分钟就会rebalance一次，分析日志发现比较严重。错误

参与评论您还未登录，请先登录后发表或查看评论

Kafka

buaixuexideshuge的博客

04-02

167

kafka

【kafka】kafka Selector Timeout of expired before the position for partition could be determined

九师兄

04-25

2112

flink消费kafka报错请问flink本机可以连接kafka、但是仍到测试环境就连不上idea跑是正常得，打包仍上去，不报错，运行几分钟后就是上面得的异常每条Kafka的数据大小不大。

kafka的应用

永远别让世俗淹没生活的热情和浪漫

07-16

767

Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。Kafka是一个开源的分布式事件流平台（Event StreamingPlatform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。kafka可以在廉价的商用服务器中也能做到每秒100K条的数据传输。支持kafka server的消息分区，及分布式消费。

kafka发送消息服务器宕机,Kafka之消息传输

weixin_28678517的博客

08-06

879

问题研究：研究Kafka consumer和broker之间的数据传输方式？Kafka是如何保证可靠性？消费机制是consumer pull还是broker push？, 如果是push的话，kafka是否知道数据传输成功0.写在前面昨天整理完Kafka之数据存储之后，今天决定再把笔记中kafka消息传输部分整理一下，逐步去完善kafka系列的博文。本文中讲述的kafka是0.8.1版，目前最新版...

Kafka原理解析

__一叶__的博客

05-12

779

Kafka 是一个分布式流式处理平台。LinkedIn 最早开发 Kafka 用于处理海量的日志有很大关系，最开始就不是为了作为消息队列的，由于高性能，以及随着发展很多短板都被逐步修复完善，后面才在消息队列领域占据了一席之地。主要有两大应用场景：消息队列：建立实时流数据管道，以可靠地在系统或应用程序之间获取数据。数据处理：构建实时的流数据处理程序来转换或处理数据流。 Kafka架构基础结构 Broker（代理）: 可以看作是一个独立的 Kafka 实例。多个 Kafka ...

【jmx】java jmx 获取 kafka topic的logStart LogEnd信息

九师兄

12-13

761

1. 概述因为要展示kafka topic的 start offset和end offset ，最开始的方案是使用构建消费者，然后使用 consumer.seekToEnd(topicPar);和consumer.position(topicPartition) 这两个获取，但是实际测试的时候大部分情况下是能使用的，但是某些环境是不能使用的，不具有通用性。卡死案例参考：Kafka】kafka 卡死 Discovered coordinator xx:9092 (id: xxx rack: null) .

【Kafka】KafkaConsumer is not safe for multi-threaded access

九师兄

11-17

1709

KafkaConsumer is not safe for multi-threaded access Exception in thread “Thread-10” java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access at org.apache.kafka.clients.consumer.KafkaConsumer.acquire(KafkaConsumer.java

kafka----初步安装与配置

ahyyyjj的博客

05-13

569

Kafka Broker 无法获取集群信息、无法选举控制器、无法感知其他节点，导致启动失败或集群不可用。Kafka 启动前需要先启动 ZooKeeper，新版本的kafka（2.8+）支持。相同，是以集群的形式使用。

Kafka快速安装与使用

禅与计算机程序设计的艺术

05-15

8551

本文提供了在Ubuntu（Linux）环境下快速安装和配置Kafka的详细步骤，旨在帮助开发者搭建一个用于日常开发和测试的Kafka环境。首先，通过wget命令下载Kafka并解压，随后进行基本配置，包括修改server.properties文件中的IP地址。接着，启动Zookeeper和Kafka服务端，确保服务正常运行。最后，通过启动生产者和消费者进行消息收发测试，验证Kafka的安装和配置是否成功。本文为开发者提供了一个简洁明了的Kafka安装与使用指南。

现场血案：Kafka CRC 异常

最新发布

youyou263的博客

05-16

948

现场童鞋说客户的研发环境突然在近期间歇式的收到了CRC的相关异常，异常内容如下报错完全没有规律性，有可能半天都不出现一次，也有可能一小时出现2、3次而这个报错会导致Kafka的Consumer hang死，即无法继续消费后续的消息，只能手动重启Consumer才能继续，是非常严厉的报错，会直接导致生产不可用另外，我们部署的供内部云平台组建使用的Kafka也会出现这种报错。

Kafka 解惑

DuGuYiZhao的博客

05-13

1027

副本，是 Kafka 保证数据高可用的方式，Kafka 同一 Partition 的数据可以在多 Broker 上存在多个副本，通常只有主副本对外提供读写服务，当主副本所在 broker 崩溃或发生网络异常，Kafka 会在 Controller 的管理下会重新选择新的 Leader 副本对外提供读写服务。同一个主题下不同分区包含的消息是不同的，分区在存储层面可以看作一个可追加的日志（Log）文件，消息在被追加到分区日志文件的时候都会分配一个特定的偏移量（offset）。

高吞吐与低延迟的博弈：Kafka与RabbitMQ数据管道实战指南

lgf228的专栏

05-13

1293

本文全面对比Apache Kafka与RabbitMQ在数据管道中的设计哲学、核心差异及协同方案。结合性能指标、应用场景和企业级实战案例，揭示Kafka在高吞吐流式处理中的优势与RabbitMQ在复杂路由和低延迟传输方面的独特特点；介绍了使用Java生态成熟第三方库（如Apache Kafka Client、Spring Kafka、RabbitMQ Java Client、Spring AMQP等）的快速集成与性能调优方法。通过流程图、表格化分析和代码实例，提供从技术选型到全链路集成的完整实践指南。

【SpringBoot】集成kafka之生产者、消费者、幂等性处理和消息积压

吉光片羽的博客

05-13

526

以下是一个基于 SpringBoot 2.7.x 的 Kafka 集成方案，包含生产者、消费者、幂等性处理和消息积压解决等核心功能，通过这套完整的解决方案，可实现 Kafka 消息的可靠生产、幂等消费和高效积压处理，满足企业级应用的需求。

面试题 - Kafka、RabbitMQ、RocketMQ如何选型？

weixin_46619605的博客

05-12

1342

面试题 - Kafka、RabbitMQ、RocketMQ如何选型？

Kafka如何实现高性能

predisw的博客

05-15

427

Kafka通过多层次的架构设计和优化实现了高性能消息传递。首先，在存储层，Kafka采用顺序I/O设计、零拷贝技术和页缓存利用，显著提升了数据读写效率。其次，在网络层，Kafka使用Reactor网络模型和批量压缩传输，优化了网络通信性能。此外，Kafka通过分区并行机制和轻量级broker设计，增强了系统的并发处理能力和可扩展性。这些优化措施使得Kafka能够处理每秒数百万条消息，并实现毫秒级延迟，成为高性能消息系统的标杆。

flinksql实践(从kafka读数据)

m0_63069778的博客

05-13

526

本案例是基于flinksql实现的，将逐步实现从kafka读写数据，聚合查询，关联维表(外部系统)等。

Kafka消费者分组机制深度解析

fjkxyl的博客

05-15

592

监控行为本身会改变系统状态（如JMX指标采集）日志级别设置影响故障排查效率跟踪调试可能引发级联再平衡采用非侵入式监控（eBPF技术）保持协议版本一致性实施灰度再平衡策略通过这种四维视角的解析，开发者可以超越表象认知，真正掌握Kafka消费者组在时空连续体中的运行规律，从而构建出弹性、高效的消息消费系统。