Kafka深入----事务

Producer的事务

问题:(当有多台follower进行同步时,其中一台机器宕机,ack机制下使得同步重新启动,当重新同步时。机器恢复重新进行同步时 由于 重启后pid也发生了变化,就会导致其中的数据重复,使得数据杂乱无章)
  • 为了实现全局一致性
  • 在0.11版本之后引入新的事务特性
  • 其中引入一个唯一的一个全局变量Transaction ID
  • 将Producer获得PID和Transaction ID 进行绑定
  • 在重启机器后可以通过Transaction ID 获取到原来的PID

  • 为了管理Transaction ID Kafka中引入一个管理TID(Transaction ID)的组件Transaction Coordinator。
  • Producer就是通过TC(Transaction Coordinator)交互获得TID所对应的任务

  • TC还将所有事务所对应的事务都写入到一个内部的Topic中
  • 即使整个服务重启,事务也可以恢复
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值