1 Kafka的事务 V.S RocketMQ
RocketMQ事务主要解决问题:确保执行本地事务和发消息这俩操作都成功/失败。RocketMQ还有事务反查机制兜底,更提高事务执行的成功率和数据一致性。
而Kafka事务,是为确保在一个事务中发送的多条消息,要么都成功,要么都失败。
这里的多条消息不一定在同一个topic和partition,可以是发往多个topic和partition的消息。当然,你可在Kafka事务执行过程中,加入本地事务,来实现和RocketMQ事务类似效果,但Kafka没有事务反查机制。
Kafka这种事务机制,单独使用场景不多。更多是配合Kafka幂等机制,实现Kafka的Exactly Once语义。这里Exactly Once和一般MQ服务水平的Exactly Once不同!
1.1 Exactly Once
一般MQ服务水平中的,指消息从Pro发送到Broker,Con再从Broker拉消息消费。这过程中,确保每条消息恰好传输一次,不重复、不丢弃。
1.2 At Least Once
包括Kafka在内的几个常见MQ,都只能做到At Least Once(至少一次),即保证消息不丢,但可能重复,达不到Exactly Once。
2 Kafka的Exactly Once
使用场景:解决流计算中,用Kafka作数据源,并将计算结果保存到Kafka。数据从Kafka的某topic中消费,在计算集群中计算,再把计算结果保存在Kafka的其他topic。
这样的过程中,保证每条消息都被恰好计算一次,确保计算结果正确。
2.1 案例
将所有订单消息保存在Kafka主题Order,在Flink集群中运行一个计算任务,统计每分钟的订单收入,然后把结果保存在另一个Kafka主题Income。
要保证计算结果准确,就要确保无论Kafka集群 or Flink集群中任何节点故障,每条消息都只能被计算一次,不能重复计算,否则计算结果就错。很重要的限制条件:数据须来自Kafka且计算结果都保存到Kafka,才可应用到Kafka的Excactly Once机制。
所以Kafka的Exactly Once是为解决在“读数据-计算-保存结果”的计算过程中,数据不重也不丢,并非一般MQ消息生产消费过程中的Exactly Once。
3 Kafka的事务实现
实现原理和RocketMQ事务差不多,都基于两阶段提交。为解决分布式事务,Kafka引入
3.1 事务协调者
在服务端协调整个事务。非独立进程,而是Broker进程的一部分,协调者和分区一样通过选举保证HA。
类似RocketMQ,Kafka集群也有一个特殊的用于记录事务日志的topic,该事务日志topic的实现和普通topic一样,里面记录数据类似“开启事务”“提交事务”这样的事务日志。日志topic同样也包含很多分区。
Kafka集群中,可存在多个协调者,每个协调者负责管理和使用事务日志中的几个分区。就是为能并行执行多个事务,提升性能。
3.2 Kafka事务实现流程
开启事务时,pro给协调者发请求开启事务,协调者在事务日志中记录下事务ID。
然后,pro发消息前,还要给协调者发请求,告知发送的消息属于哪个主题和分区,这个信息也会被协调者记录在事务日志。
接下来,pro就可像发送普通消息一样发事务消息,和RocketMQ不同在于:
- RocketMQ把未提交的事务消息保存在特殊queue
- 而Kafka在处理未提交的事务消息时,和普通消息一样,直接发给Broker,保存在这些消息对应的分区中,Kafka会在客户端的Con中,暂时过滤未提交的事务消息
消息发送完成后,pro给协调者发送提交或回滚事务的请求,由协调者来开始两阶段提交,完成事务:
- 第一阶段,协调者把事务的状态设置为“预提交”,并写入事务日志。至此,事务实际上已经成功,无论接下来发生什么,事务最终都会被提交
- 第二阶段,协调者在事务相关的所有分区中,都会写一条“事务结束”的特殊消息,当Kafka的消费者,也就是client,读到该事务结束的特殊消息后,就可把之前暂时过滤的那些未提交的事务消息,放行给业务代码消费
- 最后,协调者记录最后一条事务日志,标识该事务已结束
3.3 事务执行时序图
3.4 准备阶段
生产者发消息给协调者开启事务,然后消息发送到每个分区上
3.5 提交阶段
生产者发消息给协调者提交事务,协调者给每个分区发一条“事务结束”的消息,完成分布式事务提交。
4 总结
Kafka基于两阶段提交来实现事务,利用特殊的主题中的队列和分区来记录事务日志。Kafka直接把消息放到对应业务分区中,配合客户端过滤,暂时屏蔽进行中的事务消息。
Kafka的事务则是用于实现它的Exactly Once机制,应用于实时计算的场景中。
参考
关注我,紧跟本系列专栏文章,咱们下篇再续!
作者简介:魔都架构师,多家大厂后端一线研发经验,在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。
各大技术社区头部专家博主。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。
负责:
- 中央/分销预订系统性能优化
- 活动&券等营销中台建设
- 交易平台及数据中台等架构和开发设计
- 车联网核心平台-物联网连接平台、大数据平台架构设计及优化
- LLM Agent应用开发
- 区块链应用开发
- 大数据开发挖掘经验
- 推荐系统项目
目前主攻市级软件项目设计、构建服务全社会的应用系统。
参考:
本文由博客一文多发平台 OpenWrite 发布!