kafka partitioner和消息有序性

通过本篇文章,我们能了解kafka默认的Partitioner如何决定消息的partition,以及如何保证消息的有序性。

一个消息要发送到哪个partition是由producer决定的。

指定partition的需求大部分来自于消息有序性的保证。 例如一个关注系统会在用户关注、取关行为后发出关注、取关的消息,另一个系统消费这个消息, 比如用来更新缓存,关注加缓存、取关删除缓存。如果顺序出现错误比如先收到了取关消息后收到关注消息,则可能导致关注的缓存状态不对。 再例如一个订单系统会将订单的状态变化通过消息发送,另一个系统订阅这个消息, 把订单的状态同步到ElasticSearch中方便管理后台查询,如果订单状态的消息不能保证顺序,则可能导致ElasticSearch中保存的不是订单的最终状态。

上述的顺序性,并不需要严格的全局顺序,而是某个业务对象维度的顺序性,比如订单系统按照订单号维度保证顺序、用户关注取关消息按照发起用户id维度保证顺序即可。

而利用kafka中每个partition中的消息会按照发送顺序保存,并且同一时间内被consumer group中唯一一个consumer消费,在consumer进程内通过保证同一个key由相同的线程执行,就可以保证消息消费的顺序性,所以把同一个业务key的消息发送到同一个 partition上就可以保证整体的有序性。

要指定一个消息的partition有两种方法,一种是在调用Producer的send方法时,通过传入的ProducerRecord对象的partition字段指定,另外一种方式是通过 Producer的partitioner.class属

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Kafka保证消息有序性有多种方法。首先,Kafka只保证单个分区内的消息有序,而不保证多个分区之间的顺序。这是因为如果要保证多个分区的顺序,会导致性能下降,降低系统的并发性能。因此,Kafka使用多个分区的概念,不同分区之间不会干扰对方。\[1\] 第一种方法是通过创建一个只有一个分区的主题(Topic),将所有的消息发送到这个分区中。这样可以保证消息在这个分区内的顺序。这种方法适用于需要全局消费顺序的场景,比如多个直播间同时发消息,需要保证消息的全局顺序。\[2\] 第二种方法是在消费者端接收到消息后,将需要保证顺序消费的几条消息发送到内存队列中,并开启一个线程顺序处理这些消息。这种方法可以在消费端保证消息有序性,但是会降低性能。\[3\] 总结起来,Kafka通过单个分区的有序性来保证消息的顺序,而对于多个分区之间的顺序,需要根据具体的需求来选择适合的方法。 #### 引用[.reference_title] - *1* *2* [kafka怎么保证消息顺序?](https://blog.csdn.net/breeze210/article/details/122587073)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [【Kafka】如何保证消息有序性](https://blog.csdn.net/m0_45406092/article/details/119543000)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

高级Java进阶之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值