Kafka 是咋样实现消息顺序性

 

Kafka只能保证分区内消息顺序有序,无法保证全局有序

  • 生产者:通过分区的leader副本负责数据顺序写入,来保证消息顺序性
  • 消费者:同一个分区内的消息只能被一个group里的一个消费者消费,保证分区内消费有序

kafka 每个 partition 中的消息在写入时都是有序的,消费时, 每个 partition 只能被每
一个 group 中的一个消费者消费,保证了消费时也是有序的。

整个 topic 不保证有序。如果为了保证 topic 整个有序,那么将 partition 调整为 1

为什么做不到全局有序:

因为消息会发送到不一样的分区,分区之间发送的顺序是无法保证的

如何做到并发且全局有序?

    1. 解题思路

      1. 并发可以在发送端并发也可以在消费端并发,并发可以通过多线程发送或消费
      2. 全局有序需要做到只有一个分区或者数据按顺序发送到多个分区并且消费时按原顺序消费
    2. 【整体思路】想办法让需要保证顺序的数据发送到同一个分区中,并增加生产者/消费者的并发度

      1. 【方案1】topic设置一个分区,发送端和消费端开启多线程生产和消费

        1. 	【优点】实现简单
          
          •  
        2. 	【弊端】有热点瓶颈问题,服务端压力大
          
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值