startOffset与resetOffsets

最新推荐文章于 2023-07-18 22:05:32 发布
最新推荐文章于 2023-07-18 22:05:32 发布
阅读量1.1k 收藏
点赞数
分类专栏： Spring Cloud Stream 文章标签： spring cloud binder-kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/github_38730134/article/details/115203812
版权

startOffset与resetOffsets

在使用Kafka作为消息中间件时，我们可以指定kafka消费端参数auto.offset.reset控制消费端如果没有初始消费位移时，是从最新消息开始消费，还是从最早消息开始消费。在Spring Cloud Stream中如果我们要控制Kafka客户端消费没有初始位移时的消费逻辑可以通过startOffset与resetOffsets进行设置。下文基于spring-cloud-stream-binder-kafka 2.0.1.RELEASE版本

kafka消费端参数配置地址：http://kafka.apache.org/documentation/#consumerconfigs

startOffset与resetOffsets源码解析

KafkaConsumerProperties

KafkaConsumerProperties提供Kafka消费端配置参数，startOffset、resetOffsets属于其中一部分
(./img/KafkaConsumerProperties.png)]

spring-cloud-stream-binder-kafka对startOffset处理

KafkaMessageChannelBinder中通过createKafkaConsumerFactory方法构造Kafka消费端工厂时会从ExtendedConsumerProperties获取额外消费端配置，此处即是KafkaConsumerProperties，获取startOffset，并将startOffset设置到props（Map类型）中，key为auto.offset.reset
在这里插入图片描述

spring-cloud-stream-binder-kafka对resetOffsets处理

创建消费端点时，会从KafkaConsumerProperties获取resetOffsets，并且还会获取startOffset，当resetOffsets为true则startOffset配置生效，否则不做任何处理
在这里插入图片描述

总结

spring-cloud-stream-binder-kafka 2.0.1.RELEASE版本如果要使startOffset生效需要开启resetOffsets

炒栗子不加糖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka reset offset 手工重置offset
weixin_34117211的博客
10-16 6005
1、场景 a）有时消费端逻辑修改，需要重复消费数据，需要将offset设置到指定位置。   2、实现 kafka版本：0.11.* KIP-122: Add Reset Consumer Group Offsets tooling 样例： ./kafka-consumer-groups.sh --bootstrap-server ip:9092 --group groupName -...
Kafka 原理及代码分析
lifuxin73的博客
01-16 1025
Kafka版本3.0.0 1.LogSegment append(): 如参： startOffset: Long： maxSize: Int： maxPosition: Long = size： minOneMessage: Boolean = false： read(): recover():
KafkaConsumer重置Offset
weixin_43046724的博客
02-26 3638
在Kafka Version为0.11.0.0之后，Consumer的Offset信息不再默认保存在Zookeeper上，而是选择用Topic的形式保存下来。在命令行中可以使用kafka-consumer-groups的脚本实现Offset的相关操作。 更新Offset的三个维度： Topic的作用域 重置策略 执行方案 Topic的作用域 --all-topics：为consumer group下所有topic的所有分区调整位移） --topic t1 --topic t2：为指定的若干个to
当编辑内容改变是后 选中内容 Range 的startOffset会被重置
ISaiSai的专栏
02-24 1091
DMEO: 运行如下页面，输入部分文字，选中部分， 之后在浏览控制台执行$(“#J_container”).html(“abcd”); 会发现控制台输出的startOffset 被设置为0<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title></title> <script src="
RocketMQ - MessageOffset
lewee0215的专栏
12-30 561
ConsumeFromWhere https://blog.csdn.net/prestigeding/article/details/96576932 对于一个新的消费组，无论是集群模式还是广播模式都不会存储该消费组的消费进度，可以理解为-1 key remark CONSUME_FROM_LAST_OFFSET 默认策略，从该队列最尾开始消费，即跳过历史消息 CONSUME_FROM_FIRST_OFFSET 从队列最开始开始消费，即设置从最小的 Offset开始读取 CONSU
Android animation startOffset broken or buggy?
horsttnann的专栏
06-04 1182
startOffset不起作用 http://stackoverflow.com/questions/4014331/android-animation-startoffset-broken-or-buggy
C# WEB/HTTP大文件与文件夹上传
10-19
content.Headers.ContentRange = new ContentRangeHeaderValue(startOffset, endOffset, fileSize); HttpResponseMessage response = await httpClient.PostAsync(uploadUrl, content); response....
Android动画与特效[借鉴].pdf
10-19
- `startOffset`: 动画开始前的延迟时间。 - `zAdjustment`: 控制动画在Z轴上的层次关系。 4. 引用动画资源： 在代码中，可以通过`AnimationUtils.loadAnimation()`方法加载位于`res/anim`目录下的XML动画文件，...
浅谈Android中视图动画的属性与使用
01-04
简介 Android动画主要包括视图动画和属性动画，视图动画包括... 开始时间 startOffset;  重复次数 repeatCount;  时间轴 interpolator(插值器)。 代码示例 xml实现 <?xml version=1.0 encoding=utf-8?>
Android开发之图形图像与动画(三)Animation效果的XML实现
01-05
可以使<alpha><scale> <translate> 插值元素或者是把上面的元素都放入元素组中，默认情况下，所以的动画指令都是同时发生的，为了让他们按序列发生，需要设置一个特殊的属性startOffset。动画的指令定义了你想要发生...
flink kafka offset配置
hzp666的博客
12-22 1297
1.2、如果分区中offset没有找到，则使用kafka properties中的auto.offset.reset配置（比如：latest、earliest）配置：enable.auto.commit / auto.commit.interval.ms。从最早的记录开始，使用此配置，在kafka中已经提交的offset将被忽略，不会被使用。从最新的开始，使用此配置，在kafka中已经提交的offset将被忽略，不会被使用。flink kafka消费依赖于内部kafka客户端自动定期的offset提交。
reset Offset 与connection reset by peer
AIfred
07-18 745
某次生产线上，从KafkaManager监控页面，发现还剩几十万未消费数据量，过了几分钟之后，监控页面发现未消费数据量达到了几千万。
kafka不同分区重置offset
weixin_43225116的博客
02-08 4528
近期生产出现了因代码异常造成的数据消费错误问题 # kafka 问题整理如下： 1、因代码问题导致消费者在使用过程中逻辑不是幂等的，造成数据库插入数据，单kafka不提交offset，当再次启动kafka时，存在重复消费的情况，造成数据库流入脏数据 2、在修复数据的过程中，因kafka的offset错误重置，导致部分历史消息进行错误消费。 3、存在消费者因数据库链接等问题，造成在kafka允许时间内不进行提交，kafka进行重新分配的过程。 引出有关于kafka的相关问题 一、kafka的消息是如何生产
Android setStartOffset方法：设置启动时间
weixin_34390105的博客
01-19 701
【功能说明】该方法用于设置一个动画执行的启动时间，单位为毫秒。系统默认当执行start方法后立刻执行动画，当使用该方法设置后，将延迟一定的时间再启动动画。 【基本语法】public void setStartOffset (long startOffset) 其中，参数startOffset为动画的启动时间，单位为毫秒（ms）。 【实例演示】下面通过代码来演示如何更改动画的启动时间。 ...
Android中Animation 详细解读
yhqbsand
12-31 1万+
Animation从总体来说可以分为两类： 1.Tweened Animations：该类提供了旋转，移动，伸展，淡入淡出等效果 Tweened Animations也有四种类型： 1.     Alpha：淡入淡出效果 2.     Scale：缩放效果 3.     Rotate：旋转效果 4.     Translate：移动效果 设置动画有两种方式：在xml文件中或者在jav
kafka 的 auto.offset.reset 含义详解
热门推荐
JasonLee实时计算
11-22 3万+
最近也是有人问我kafka的auto.offset.reset设置为earliest后怎么结果和自己想象的不一样呢,相信很多人都对这个参数心存疑惑,今天来详细讲解一下: kafka-0.10.1.X版本之前:auto.offset.reset 的值为smallest,和,largest.(offest保存在zk中) kafka-0.10.1.X版本之后:auto.offset.reset ...
基于vue的虚拟列表优化交互
最新发布
01-17
在使用虚拟列表时，我们需要关注几个关键变量：startIndex（可视区第一个元素的索引）、endIndex（可视区最后一个元素的索引）以及startOffset（可视区第一个元素的上偏移量）。假设列表项高度固定，可以通过可视区...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值