本文介绍了Kafka消费者的三种模式：At Most Once, At Least Once和Exactly Once。At Most Once可能导致消息丢失，而At Least Once可能引起消息重复。Exactly Once通过结合消息与offset作为唯一标识确保原子性处理，以实现无重复且无丢失的消费。"
105108202,9403411,二手车交易价格预测：建模与调参实践,"['数据挖掘', '机器学习', '预测模型']
几种不同的注册方式
- subscribe方式：当主题分区数量变化或者consumer数量变化时，会进行rebalance；
- 注册rebalance监听器，可以手动管理offset
- 不注册监听器，kafka自动管理
- assign方式：手动将consumer与partition进行对应，kafka不会进行rebanlance
关键配置及含义
enable.auto.commit 是否自动提交自己的offset值；默认值时true
auto.commit.interval.ms 自动提交时长间隔；默认值时5000 ms
consumer.commitSync(); offset提交命令；
默认配置
采用默认配置情况下，既不能完全保证At-least-once 也不能完全保证at-most-once；
比如：
在自动提交之后，数据消费流程失败，这样就会有丢失，不能保证at-least-once；
数据消费成功，但是自动提交失败，可能会导致重复消费，这样也不能保证at-most-once；
但是将自
最低0.47元/天 解锁文章
扫一扫
100
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
