Flink 的 Exactly Once 和 At Least Once

  • exactly-once:即使producer重试发送消息,消息也会保证最多一次地传递给最终consumer。该语义是最理想的,但也难以实现,这是因为它需要消息系统本身与生产和消费消息的应用程序进行协作。例如如果在消费消息成功后,将Kafka consumer的偏移量rollback,我们将会再次从该偏移量开始接收消息。这表明消息传递系统和客户端应用程序必须配合调整才能实现excactly-once
  • at-least-once:如果producer收到来自Kafka broker的确认(ack)或者acks = all,则表示该消息已经写入到Kafka。但如果producer ack超时或收到错误,则可能会重试发送消息,客户端会认为该消息未写入Kafka。如果broker在发送Ack之前失败,但在消息成功写入Kafka之后,此重试将导致该消息被写入两次,因此消息会被不止一次地传递给最终consumer,这种策略可能导致重复的工作和不正确的结
  • ad least once 最少一次,消息不会丢失,但是可能会重复
  • exactly once 恰好一次。消息有且仅会被传输一次

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Exactly-Once是流处理系统的一种语义特性,表示每一条数据只会被精确地处理一次,不多也不少。这种语义保证了数据或事件在应用程序中的所有运算符中严格地仅处理一次。在Flink、Spark等流处理系统中,Exactly-Once是其中的核心特性之一。Flink从1.4.0版本开始引入了端到端的精确一次语义,可以确保每一条消息只被流处理系统处理一次。\[1\]其他常见的语义特性还包括At-Most-Once(最多一次)和At-Least-Once(最少一次)。At-Most-Once保证数据或事件最多被处理一次,而At-Least-Once保证数据或事件至少被处理一次。\[2\]在使用At-most-once语义时,如果生产者在ack超时或返回错误时没有重试,消息可能最终不会被写入Kafka topic,从而不会传递给消费者。这种方法避免了消息重复的可能性,但可能会导致消息丢失。\[3\] #### 引用[.reference_title] - *1* [Flink Exactly-once 实现原理解析](https://blog.csdn.net/weixin_43823423/article/details/127504056)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [[PyFlink 从入门到精通] Exactly-Once 的实现](https://blog.csdn.net/weixin_39334709/article/details/110060145)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Kafka实现精确一次(exactly once)发送消息的原理](https://blog.csdn.net/Anenan/article/details/121470032)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值