数据库与消息队列分布式事务设计

最新推荐文章于 2024-06-23 17:17:33 发布
最新推荐文章于 2024-06-23 17:17:33 发布
阅读量292 收藏 1
点赞数
分类专栏： 软件设计 实战总结 文章标签： 分布式事务 消息队列 设计方案
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013161278/article/details/113112107
版权

1. 本地消息事务表 + MQ回调线程补偿

在这里插入图片描述

  • ①prepare 准备阶段。本地客户端向DB、MQ发送prepare请求
  • ② ack 准备确认阶段。DB、MQ作为事务参与者返回本地客户端ack确认
  • ③commit/rollback 提交/回滚阶段。 根据事务参与者在准备确认阶段返回结果进行事务提交或回滚，此时一旦有事务参与者返回异常或超时未返回则进行回滚提交
  • ④callback 补偿回调阶段。当事务超时提交时，则由MQ进行回调查询数据库本地事务情况
  • ⑤commit/rollback 提交/回滚阶段。根据补偿回调阶段进行事务提交和回滚，实现分布式事务的最终一致性

2. 本地消息事务表 + 本地定时轮询补偿

在这里插入图片描述

  • ①commit DB事务提交阶段。本地客户端向DB进行事务提交，此时需要将业务数据和记录消息事务状态的信息表同时实现本地事务，此时标记消息事务状态为UN_SEND未发送或未完成状态，此时MQ未发送
  • ② ack DB确认阶段。返回DB事务提交成功或失败状态
  • ③commit MQ事务提交阶段。客户端发起MQ发送请求
  • ④update 本地事务表更新阶段。根据MQ发送结果进行本地消息事务表状态更新，成功则更新为SEND发送成功或发送完毕
  • ⑤MQ补偿 本地消息事务表定时轮询。对未发送成功消息事务进行补偿发送，实现分布式事务的最终一致
大摩羯先生
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
消息队列-利用事务消息实现分布式事务
02-24
“发消息”过程，往往是为通知另外一个系统更新数据，MQ的“事务”，主要解决消息生产者和消息消费者的数据一致性问题。用户在电商APP上购物时先把商品加到购物车然后几件商品一起下单最后支付完成购物流程，就可以愉快地等待收货该过程中有个需用MQ。订单系统创建订单后，发消息给购物车模块，将已下单商品从购物车删除。从购物车删除已下单商品步骤，并非用户下单支付这个主要流程的必需步骤，所以使用MQ异步清理购物车更合理。订单模块创建订单的过程实际执行了俩操作：在订单DB插一条订单数据，用来创建订单发消息给MQ，消息内容即刚创建的订单购物车模块订阅相应主题，接收订单创建的消息，然后清理购物车，在购物车中删除订单
mysql实现消息队列
weixin_34376562的博客
08-18 1101
mysql之消息队列 消息队列：在消息的传输过程中保存消息的容器。 消息队列管理器在将消息从它的源中继到它的目标时充当中间人。队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。 如图所示： 在不使用消息队列的情况下，用户的请求数据直接写入数据库，再高并发的情况下，会对数据库造成巨的压力，同时也使得响应延迟加剧。...
mysql数据库列队写入_写数据库消息队列
weixin_30682905的博客
02-08 872
问题：核心业务处理转发系统在处理前段发来的请求时，由于各个事务中有连接数据库写操作，当并发量足够大时，业务系统由于直连mysql更新数据库，所以需要等待mysql处理完反馈结果，也就是说要等待数据库I/O的时间。导致并发量增大，当增加到该模块处理发阀值时，会将部分请求丢弃不做处理，最终结果是会有部分用户请求被忽略。为了解决上述问题，在该模块与mysql之间，建立一个消息队列的机制，分为A，B两个模...
消息队列
qq_36985354的博客
03-12 149
消息队列 是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 消息队列应用场景 异步处理 场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式 （1）串行方式：将注册...
数据库分布式消息队列
12-28 1433
数据库分布式消息队列 作者：vincentchma，腾讯 IEG 后台开发工程师 一、消息队列的演进 分布式消息队列中间件是是大型分布式系统中常见的中间件。消息队列主要解决应用耦合、异步消息、流量削锋等问题，具有高性能、高可用、可伸缩和最终一致性等特点。消息队列已经逐渐成为企业应用系统内部通信的核心手段，使用较多的消息队列有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、Pulsar 等，此外，利用数据库（如 Redis、MySQL 等）也可实现消息队列的部分基本功能
基于RabbitMQ消息队列的分布式事务解决方案
01-27
总之，RabbitMQ提供了有效的工具来解决分布式事务问题，但设计良好的分布式事务解决方案需要结合业务场景，权衡一致性、可用性和性能，同时考虑异常处理和恢复策略。理解这些核心概念和技术是构建高效、可靠的分布式...
rabbitmq分布式事务
12-01
基于rabbit和本地消息表实现可靠消息一致性分布式事务，项目下载下来直接可以用了，已经包含了配置文件和数据库脚本，有问题的可以给我私信。项目架构springboot、nacos、rabbitMq、redis、MySQL
Java-25-通用设计-分布式事务-消息队列.rar
09-18
本资料包"Java-25-通用设计-分布式事务-消息队列.rar"主要涵盖了这两个主题，下面将详细阐述它们的核心知识点。 **分布式事务** 分布式事务是指跨越多个数据库或服务的单个业务操作，它涉及到不同系统间的协调工作...
记录redisson实现redis分布式事务锁
04-24
本篇文章将详细探讨如何使用Redisson实现Redis分布式事务锁，以及在Spring Boot环境中如何进行集成。 首先，Redis作为一个内存数据库，其高速读写性能使其成为实现分布式锁的理想选择。分布式锁的主要作用是在多...
项目实战 — 消息队列（3）{数据库操作}
qq_52136076的博客
07-31 1004
一、SQLite 🍅 1、添加依赖 🍅 2、修改配置文件后缀（properties -> yaml） 🍅 3、编写配置文件 二、建立数据表 三、添加插入和删除方法 四、整合数据库操作（DataBaseManger类） 🍅 1、初始化方法init() 🍅 2、编写代码 五、对数据库操作进行单元测试 🍅 1、“准备工作”和“收尾工作” 🍅 2、编写测试类进行用力测试 🎈测试init()方法 🎈测试交换机（插入和删除） * Delete 🎈测试
记MySQL事务+消息队列引起的问题
最新发布
qq_41591215的博客
06-23 467
部署项目到服务器，验证项目功能的时候，出现了以下错误：数据库存在数据。
系统学习消息队列分享（五） 如何利用事务消息实现分布式事务？
weixin_30586085的博客
08-29 233
一说起事务，你可能自然会联想到数据库。的确，我们日常使用事务的场景，绝大部分都是在操作数据库的时候。像 MySQL、Oracle 这些主流的关系型数据库，也都提供了完整的事务实现。那消息队列为什么也需要事务呢？ 其实很多场景下，我们“发消息”这个过程，目的往往是通知另外一个系统或者模块去更新数据，消息队列中的“事务”，主要解决的是消息生产者和消息消费者的数据一致性问题。 依然拿我们熟...
RocketMq事务消息（分布式事务解决方案）
疯狂的蜗牛
09-07 8684
从问题出发 阅读本文后，我们将了解以上两个问题的答案。 1、RocketMq生产者组（producer group）的设定有什么用？ 2、一个订单处理的场景，消费者订阅了订单topic，但总担心丢消息。于是为了防止丢消息，每天都会通过定时任务做一致性校验，这是最佳方案吗？ 这还得从基于消息队列实现实现分布式事务的解决方案说起。 常见的分布式事务包括 2PC、3PC、TCC、本地消息表、消息事务、最大努力通知。 今天我们主要讲讲本地消息表、消息事务两种方案。 本地消息表 本地消息表的大致流程是这样的。 pub
从零手搓一个【消息队列】创建核心类, 数据库设计与实现
yzhcjl_的博客
09-30 526
充分结合面向对象思想, 创建出了交换机, 队列, 绑定, 消息, 等核心概念的类, 使用 SQLite, 并结合 MyBatis 编写了交换机, 队列, 绑定的建表, 增, 删, 查的 sql, 对数据库的初始化, 判断存在, 删除等做进一步的封装
消息队列设计精要
美团技术团队
07-01 3726
消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。本文不会一一介绍这些消息队列的所有特性，而是探讨一下自主开发设计一个消息队...
利用消息队列实现分布式事务
alili0619的博客
07-14 1529
引言 听说公司上批员工入职培训有这么一个小demo 之前分布式这块接触比较少，于是尝试做了一下 这边技术选型springcloud，kafka,mysql，docker,quartz 思路分析 首先描述下我这边的场景，也是很常见的一个异步调用场景: 即将服务A假设为某电商用户模块，服务B假设为电商活动模块。 我这边呢，假设用户支付多少钱，就返多少钱的一个代金券 一致性解决 梳理一下流程，上面这一版有一个致命的问题！如下所示事务开始(1)给alili账户扣100元 (2)给alili账户
消息队列为什么不用数据库替代
03-20 4959
为什么用消息队列不用数据库？把消息插入队列，修改队列状态不如queue or dequeue来得简单。频繁的看数据库是否添加了新的消息增大了数据库的负载。并发用户如果请求，需要行锁和处理会话，而用消息队列不需要管这些，完全不用担心死锁和race conditions。当队列越来越多，需要手动周期清楚消息。https://www.cloudamqp.com/blog/2015-11-23-why-i...
基于数据库的分布式消息队列
t3573393的专栏
10-30 1579
在传统的应用中由于消息队列缺乏，而且为了兼容必要的部署和配置需求，往往想在不太多修改代码的情况下拥有队列功能。常用的消息队列有传统的JMS，amqp以及互联网的mq系列的中间件等。然而在传统的基于数据库的应用中，往往只想拥有简单的队列功能，并不存在着大量并发和分布式的问题，因此构建一个基于数据库表存储结构的队列已经基本能满足业务需求。     为了满足当前系统中的队列需求：1. 包含入队顺序按照
如何用消息系统避免分布式事务？
ainie4139的博客
08-12 1904
前阵子从支付宝转账1万块钱到余额宝，这是日常生活的一件普通小事，但作为互联网研发人员的职业病，我就思考支付宝扣除1万之后，如果系统挂掉怎么办，这时余额宝账户并没有增加1万，数据就会出现不一致状况了。 上述场景在各个类型的系统中都能找到相似影子，比如在电商系统中，当有用户下单后，除了在订单表插入一条记录外，对应商品表的这个商品数量必须减1吧，怎么保证？！在搜索广告系统中，当用户点击某广告...
"分布式事务解决方案实战1：数据库事务ACID与分布式事务理论
在实践中，有很多分布式事务解决方案可供选择，例如基于消息队列的最终一致性、TCC（Try-Confirm-Cancel）事务、XA事务等。基于消息队列的最终一致性是一种典型的异步解决方案，它通过将事务操作转化为消息并发送到...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大摩羯先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值