一文理解Kafka如何保证消息顺序性

本文探讨了在Kafka中实现消息有序的策略,包括全局有序和局部有序。全局有序要求每个Topic只有一个Partition,而局部有序则通过指定PartitionKey保证相同业务字段的消息顺序。消息重试可能影响顺序,可通过调整生产者配置如max.in.flight.requests.per.connection来保障。
摘要由CSDN通过智能技术生成

要想实现消息有序,需要从Producer和Consumer两方面来考虑。

如果对Kafka不了解的话,可以先看这篇博客《一文快速了解Kafka》。

针对消息有序的业务需求,还分为全局有序和局部有序。

  • 全局有序:一个Topic下的所有消息都需要按照生产顺序消费。

  • 局部有序:一个Topic下的消息,只需要满足同一业务字段的要按照生产顺序消费。例如:Topic消息是订单的流水表,包含订单orderId,业务要求同一个orderId的消息需要按照生产顺序进行消费。

全局有序

由于Kafka的一个Topic可以分为了多个Partition,Producer发送消息的时候,是分散在不同 Partition的。当Producer按顺序发消息给Broker,但进入Kafka之后,这些消息就不一定进到哪个Partition,会导致顺序是乱的。

因此要满足全局有序,需要1个Topic只能对应1个Partition。

而且对应的consumer也要使用单线程或者保证消费顺序的线程模型,否则会出现下图所示,消费端造成的消费乱序。

局部有序

要满足局部有序,只需要在发消息的时候指定Partition Key,Kafka对其进行Hash计算,根据计算结果决定放入哪个Partition。这样Partition Key相同的消息会放在同一个Partition。此时,Partition的数量仍然可以设置多个,提升Topic的整体吞吐量。

如下图所示,在不增加partition数量的情况下想提高消费速度,可以考虑再次hash唯一标识(例如订单orderId)到不同的线程上,多个消费者线程并发处理消息(依旧可以保证局部有序)。

消息重试对顺序消息的影响

对于一个有着先后顺序的消息A、B,正常情况下应该是A先发送完成后再发送B,但是在异常情况下,在A发送失败的情况下,B发送成功,而A由于重试机制在B发送完成之后重试发送成功了。这时对于本身顺序为AB的消息顺序变成了BA。

针对这种问题,严格的顺序消费还需要max.in.flight.requests.per.connection参数的支持。

该参数指定了生产者在收到服务器响应之前可以发送多少个消息。它的值越高,就会占用越多的内存,同时也会提升吞吐量。把它设为1就可以保证消息是按照发送的顺序写入服务器的。

此外,对于某些业务场景,设置max.in.flight.requests.per.connection=1会严重降低吞吐量,如果放弃使用这种同步重试机制,则可以考虑在消费端增加失败标记的记录,然后用定时任务轮询去重试这些失败的消息并做好监控报警。

Kafka保证消息顺序有多种方法。首先,Kafka只能保证单个分区内的消息有序,而不是整个Topic的全局顺序。这是因为如果要保证多个分区的消息有序,不仅需要保证Broker保存的数据有序,消费时也需要按照顺序消费。但是,如果一个分区堵塞了,为了保持顺序,其他分区也不能被消费,这将降低整个系统的并发能。 第一种保证消息顺序的方法是创建一个主题(Topic)时只创建一个分区(Partition),这样生产者的所有数据都发送到同一个分区。这样就能保证消息的消费顺序。这种方法适用于需要全局顺序的场景,比如多个直播间同时发送消息,需要保证消息按照直播间的顺序到达消费者。123 #### 引用[.reference_title] - *1* *2* [kafka怎么保证消息顺序?](https://blog.csdn.net/breeze210/article/details/122587073)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] - *3* [kafka如何保证消息有序](https://blog.csdn.net/m0_53396342/article/details/130083135)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值