【Kafka】【十九】新消费组的消费offset规则

最新推荐文章于 2024-05-22 10:22:32 发布
最新推荐文章于 2024-05-22 10:22:32 发布
阅读量3k 收藏 1
点赞数
分类专栏： Kafka 文章标签： kafka java 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41405524/article/details/129002464
版权

新消费组的消费offset规则

新消费组中的消费者在启动以后，默认会从当前分区的最后⼀条消息的offset+1开始消费（消费新消息）。可以通过以下的设置，让新的消费者第⼀次从头开始消费。之后开始消费新消息（最后消费的位置的偏移量+1）

  • latest：默认的，消费新消息
  • earliest：第⼀次从头开始消费。之后开始消费新消息（最后消费的位置的偏移量+1）
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

测试

测试latest

将消费者消费组改成testGroup1

在这里插入图片描述

直接订阅主题test

在这里插入图片描述

启动后发现没有消费到消息，这是因为新消费组消费主题，是从最新的offset进行消费的

在这里插入图片描述

这时生产者发送消息，新消费组的消费者也可以接收到并消费

  • 生产者
    在这里插入图片描述
  • 消费者
    在这里插入图片描述

测试earliest

新建一个testGroup2的消费组

在这里插入图片描述

然后将配置改为earliest

在这里插入图片描述

启动Consumer后会获取到test主题下所有分区的从0的offset位置以后的所有消息，下次会从已经消费的offset+1位置处开始消费

在这里插入图片描述

BirdMan98
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
kafka消费旧高级消费，新高级消费代码
03-02
kafak 0.9API 旧高级消费 新高级消费，指定offset消费，并且持续监控offset
Kafka-zk-restapi:Kafka Zookeeper RESTful API执行主题消费者组管理度量（偏移\滞后\消息）收集和监控
05-13
消费者组列表/描述/删除 消费群体滞后检查 最早/最新/时间戳的偏移量重置 通过不同的解码器查看消息的内容，也支持avro 支持架构注册表上的架构管理 从公开JMX指标的代理收集JMX指标有关更多详细信息，请参阅 使用...
【Kafka】从kafka中读取最新数据
junR_980218的博客
08-15 9243
【Kafka】从kafka中读取最新数据
第四章 Kafka-事务相关
qq_37225926的博客
09-24 781
一、Offset自动控制 Kafka消费者默认对于未订阅的topic的offset的时候，也就是系统并没有存储该消费者的消费分区的记录信息，默认Kafka消费者的默认首次消费策略：latest（最新） auto.offset.reset=latest 自动偏移量的重置 erliest - 自动将偏移量重置为最早的偏移量 latest - 自动将偏移量重置为最新的偏移量 none - 如果未找到消费者组的先前偏移量，则向消费者抛出异常 latest: package co
Kafka 实战 - Kafka Consumer 重置 Offset
最新发布
6个日的博客
05-22 439
使用AdminClient.resetOffsets()方法，指定消费者组、偏移量规格（基于目标时间点）以及受影响的TopicPartition，执行偏移量重置操作。在开发测试过程中，可能需要消费一段时间的消息，来验证数据的可靠性，这里需要消费者（Consumer）重置其消费的偏移量（Offset）。--to-datetime: 设置重置偏移量的目标时间点。--all-topics: 重置该消费者组订阅的所有Topic的偏移量。--reset-offsets: 表示要执行偏移量重置操作。
kafka常用命令
zhangmuqiang的博客
07-05 8559
bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。
kafka消费数据3.25总结
m0_67994850的博客
03-25 422
基于Flink完成Kafka中的数据消费，将数据分发至Kafka的dwd层中，并在HBase中进行备份同时建立Hive外表、HBase、Hive、ClickHouse、Redis等相关操作。1.使用flink消费kafka中的数据并统计实时营业额存入到redis中。使生效命令:source /etc/profile。配置环境变量命令:vi /etc/profile。2.kafka中需要依赖包，所以建kafka工程。先解压再配置环境变量使环境变量生效。
【Kafka】【十八】指定分区和偏移量，时间消费
鸟人的博客
02-13 1086
从topic的0号分区最新offset消费。
Kafka常见问题1
08-08
在Kafka中，有几个核心概念和机制...综上所述，理解Kafka的分区分配、消费者组的offset管理、自定义消费策略以及副本分配策略是解决Kafka常见问题的关键。正确配置和理解这些机制将有助于优化Kafka集群的性能和稳定性。
kafka-python 获取topic lag值方式
09-18
不过，通过获取主题的总offset和消费者组的最新消费offset，我们可以自己计算出Lag值。下面将详细介绍如何实现这一过程。 首先，我们需要理解几个关键概念： 1. **Topic**: Kafka中的主题，是数据的分类或频道，...
详解Spring Kafka中关于Kafka的配置参数
08-27
3. auto-offset-reset：当 Kafka 中没有初始偏移量或者服务器上不再存在当前偏移量时，该怎么办。默认值为 latest，表示自动将偏移重置为最新的偏移量。可选的值为 latest, earliest, none。 4. bootstrap-servers...
kafka常用命令汇总(亲测自用)
paulwang040的博客
11-25 2916
kafka常用命令
Kafka(三)：kafka消费者
qq_39198749的博客
05-09 3199
文章目录1. 消费方式2. 消费者总体工作流程2.1 消费者组2.2 消费者组初始化流程2.3 消费者组详细消费流程3 消费者重要参数 1. 消费方式 pull(拉)模式 consumer采用从broker中主动拉去数据 kafka采用这种方式 不足之处：如果kafka没有数据，消费者可能会陷入循环之中，一直返回空数据 push(推)模式 kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率 2. 消费者总体工作流程 2.1 消费者组 由多个consumer组
5种kafka消费端性能优化方法
华为云官方博客
08-04 4075
本文讲述基于FusionInsight HD&MRS的五种kafka消费端性能优化方法。
Kafka 重启消费者后，从分区的哪里开始重新消费（队列头？队列尾？上一次消费位置？），auto.offset.reset
祁东握力的博客
09-22 9210
这篇文章不错，先看这篇https://blog.csdn.net/lishuangzhe7047/article/details/74530417 看文章时注意一些关系： CURRENT-OFFSET这个表示消费者消费了数据之后提交的offset，即消费者消费了的数据的偏移量。如果为unknown，则表示消费者未提交过offset。 LOG-END-OFFSET这个应该表示的是该分...
一网打尽Kafka常用命令、脚本及配置，宜收藏！
程序IT圈
06-01 531
前言通过前面 7 篇文章的介绍，小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。Kafka是什么？一起来看看吧！Kafka 安装及简单命令使用Kafka中消息如何被存...
更换group.id时kafka从哪开始消费
Poppy_Evan的博客
04-16 1991
前言： 设置消费者properties的两个参数，这两个参数觉得从哪开始消费的问题 1、consumer.group.id 2、properties.setProperty("auto.offset.reset", "earliest”) // latest 注意： 只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开始，不论"auto.offset.res...
kafka auto.offset.reset介绍
www.hohode.com
05-07 3万+
http://shift-alt-ctrl.iteye.com/blog/1930791 kafka + zookeeper,当消息被消费时,会想zk提交当前groupId的consumer消费的offset信息,当consumer再次启动将会从此offset开始继续消费. 在consumter端配置文件中(或者是ConsumerConfig类参数)有个"autooffset.re
kafka 的 auto.offset.reset 含义详解
热门推荐
JasonLee实时计算
11-22 3万+
最近也是有人问我kafka的auto.offset.reset设置为earliest后怎么结果和自己想象的不一样呢,相信很多人都对这个参数心存疑惑,今天来详细讲解一下: kafka-0.10.1.X版本之前:auto.offset.reset 的值为smallest,和,largest.(offest保存在zk中) kafka-0.10.1.X版本之后:auto.offset.reset ...
kafka执行shell重置消费组的offset为最新的
06-16
可以使用 `kafka-consumer-groups.sh` 脚本来重置消费组的 offset 为最新的。具体操作如下： 1. 打开一个终端窗口，进入 Kafka 的 bin 目录下，执行以下命令： ``` ./kafka-consumer-groups.sh --bootstrap-server <kafka_broker_list> --group <consumer_group_name> --reset-offsets --to-latest --all-topics --execute ``` 其中，`<kafka_broker_list>` 是 Kafka 集群的 broker 列表，`<consumer_group_name>` 是待重置 offset 的消费组名。 2. 等待脚本执行完毕即可。执行成功后，消费组的 offset 将被重置为最新的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BirdMan98

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值