mysql事物提交以后发送kafka

发现问题

最近开发中遇到一个问题,大致逻辑如下:service中有一个insert方法,在成功插入数据以后要发送kafka,kafak监听到消息后有相关的业务逻辑实现,该逻辑实现需要依赖之前insert插入的数据。
但是这里会存在一个bug:如果insert方法还没有进行事物提交,但是kafka已经监听到消息,此时查询数据库中是没有数据的,那后面的逻辑实现就没有了意义。所以必须保证insert语句成功提交数据以后才能发送kafka。

解决问题

使用TransactionSynchronizationManager.registerSynchronization

示例如下:

	@Override
    @Transactional
    public Integer insert(Entity entity){
    	//示例代码
        Integer result = mapper.insert(entity);
        kafkaMessageSend("topic", entity.getId);
        return result;
    }

	private void kafkaMessageSend(String topic, String message) {
        TransactionSynchronizationManager.registerSynchronization(new TransactionSynchronizationAdapter() {
            @Override
            public void afterCommit() {
                kafkaTemplate.send(topic, message);
            }
        });
    }

这是spring事务提供的注册回调接口的方法,通过该方法注册事务回调接口后,spring会在事务提交/回滚前后调用注册回调接口的对应方法。
源码展示

  1. suspend:在spring开启新事务,获取connection之前会调用
  2. resume:开启新事务失败时会调用
  3. flush:没调用
  4. beforeCommit:事务提交前会调用
  5. beforeCompletion:事务提交前会调用,在beforeCommit之后
  6. afterCommit:事务提交后会调用
  7. afterCompletion:事务提交后会调用,在afterCommit之后

除了上述方法,还可以使用 @TransactionalEventListener 监听事务来实现。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
分布式事务是在分布式环境下进行事务操作时面临的挑战之一。在分布式环境中,由于存在多个数据源,仅使用本地数据库事务无法保证多个数据源数据的一致性。因此,需要采用特定的协议来实现分布式事务的一致性。两阶段或三阶段提交协议是常见的解决方案之一,但由于需要在多个数据源之间进行多次等待,性能较差。 另一种解决分布式事务问题的方法是使用事件、本地事务和消息队列。这种方法将本地业务逻辑和消息的存取过程拆分成两个事务。生产者在本地业务执行完毕后再将消息发送Kafka,如果发送失败可以进行重发。消费者在从Kafka获取消息后再执行消费逻辑,如果执行失败可以重新执行。这样可以保证本地业务逻辑和消息的存取是分开的,从而实现分布式事务的一致性,并且性能较好。 在实现分布式事务的过程中,还可以进行一些改进。例如,可以批量更新多个EventProcess的状态,使用线程池异步处理EventProcess,将数据同时保存到Redis以便后续操作,并注意处理缓存和数据库可能状态不一致的问题。对于Kafka,由于可能存在重发消息的情况,可以在接收事件并保存到EventProcess时处理主键冲突的错误,例如直接丢弃重复的消息。 综上所述,使用事件、本地事务和消息队列是一种较好的方法来实现分布式事务,并且可以通过一些改进来提高性能和处理异常情况。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *3* [微服务框架Spring Cloud介绍 Part1: 使用事件和消息队列实现分布式事务](https://blog.csdn.net/pingyan158/article/details/52764286)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [kafka实现分布式事务](https://blog.csdn.net/qq_39188150/article/details/111415919)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值