通过RabbitMq实现C端和B端的冗余双写

已于 2024-02-04 21:52:04 修改
阅读量250 收藏
点赞数 1
文章标签： java 分布式 redis
于 2024-02-04 21:50:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44768367/article/details/136033051
版权
本文介绍了在C端和B端采用不同分库分表策略的场景中，如何通过RabbitMQ的生产者消费者模式以及Redis分布式锁来确保B端一次性查询短链数据的一致性，同时优化性能和容灾能力。
摘要由CSDN通过智能技术生成

通过RabbitMq实现C端和B端的冗余双写

背景：

  • 由于采用了分库分表设计，C端和B端的分库分表策略不同，C端通过库表位能够散列到不同的数据库。但是B端如何一次性查看自己账号下所有的短链？

需求：

  • B端能够一次性查询不同数据库表中的短链数据
  • 保证B端和C端数据的一致性
  • 确保操作的原子性
  • 拥有好的性能开销和容灾能力

解决方案：

  • 如何让C端用户查询
    • 在B端插入数据库时，同时插入C端的数据库映射，并且C端的分库分表策略不采用库表位，而是通过accountNo和组Id
  • 保证插入的一致性
    • 利用RabbitMQ
      • 生产者发送请求，C端和B端订阅消息并插入数据库
      • 通过Redis实现分布式可重入锁
刘山川yh
关注
项目实战之RabbitMQ冗余双写架构
DaenCode的博客
12-01 1224
🎤作者简介：啥技术都喜欢捣鼓捣鼓，喜欢分享技术、经验、生活。😎人生感悟：尝尽人生百味，方知世间冷暖。
冗余双写方案下数据一致性问题解决及延申问题处理方案，2024年最新大数据开发高级面试视频
2401_84170244的博客
04-13 269
RabbitMq则是将消息投递到交换机，通过匹配规则投递消息到队列，再由队列对应的消费者进行消费，它更强调消息传递的可靠性，更符合业务场景的功能开发，自带了延迟队列和异常消息处理。2）Rabbitmq的延迟队列采用死信队列方式解决，即被投递的队列无消费者订阅，所进入该队列的消息超时未消费时，会重新投递到另外的队列，超时时间则就是延迟时间。用户请求后立即返回消息给客户，随后消费者（C端/B端）各自进行加锁写入数据库，确保两者冲突时能遵照统一ver版本自增机制，重新生成短链码。
分库分表场景下多维查询方案探究
qq_30294911的博客
03-21 370
在采用分库分表设计时，通过一个PartitionKey根据散列策略将数据分散到不同的库表中，从而有效降低海量数据下C端访问数据库的压力。例如，生成的短链码散列到不同的数据库抵御了海量消费者的访问压力，但在业务层面上，商家无法查询到自己旗下生成的所有短链码。定义hash对应的库表策略关系，每次生成库表位时，根据商家的唯一标识进行hash，找到固定的库表位，然后将短链写入该库表中。当商家查询时，同样根据商家的唯一标识进行hash，找到可能在的库表，采用笛卡尔积方式将数据查出，此种方式不触发全库表路由。
短链平台开发-多维度查询问题及解决方案
m0_47764945的博客
04-15 217
2.mq消息发送优化冗余双写架构（弱一致性），使用rabbitmq的原因（rabbitmq自带延时队列，更适合业务比如定时任务，分布式事务，团队内熟悉rabbitmq，所以作为优先的mq）。一个平台应该分为商家端和用户端（分为B端和C端），用户的话可以直接通过短链码查询自己的私有短链 ，但是商家改如何查询自己的所有短链呢？字段解析配置：建一个表（存对应的唯一编号）的对应库表位，商家生成的短链码有固定的前缀和后缀，即短链码中包含商家的信息。
RabbitMQ 集群高可用原理及实战部署介绍
singwhatiwanna
09-18 586
在项目中想要 RabbitMQ 变得更加健壮，就要使得其变成高可用，今天我们一起来聊聊关于 RabbitMQ 集群原理和部署流程一、介绍在前几篇文章中，我们详细的介绍了 RabbitMQ...
冗余双写方案下数据一致性问题解决及延申问题处理方案
qq_30294911的博客
03-23 1249
主要整理了采用冗余双写方案后的问题解决方案。
RabbitMQ-分布式原理和实现
DCHAO的博客
03-30 2078
RabbitMQ的分布式 首先我们要了解RabbitMQ的集群架构模式，比如主备、shovels、镜像集群队列、异步多集群 然后从0开始构建一个异步的镜像队列集群，然后整合HAProxy和keepalive，实现高可用、高可靠。 然后我们来讲解下配置文件中的一些关键配置的含义和推荐配置。 j接下来我们来看看运维工作，结合场景来理解下恢复和失败转移的5种方案。 1.RabbitMQ的分布式简介 https://www.rabbitmq.com/distributed.html#overview 有三种方法可以
RabbitMQ 镜像队列 使用和原理详解
金甲虫的博客
04-11 7148
文章目录1. 背景2. 镜像队列概述3. 使用方法和注意事项3.1 配置方法3.1.1 管理界面配置3.1.2 命令行3.1.3 HTTP API3.2 镜像队列配置观测3.3 配置参数3.3.1 镜像策略3.3.2 新镜像同步策略3.3.3 从节点晋升策略3.3.4 主队列选择策略3.4 注意事项3.4.1 多少个镜像才是最优的3.4.2 生产者确认和事务3.4.3 流控3.4.4 主节点失效和消费者取消4. 镜像队列原理4.1 镜像队列的数据流4.1.1 客户端连接主节点4.1.2 客户端连接从节点4.
RabbitMQ 集群
bier_zm的博客
11-08 3588
RabbitMQ 集群 RabbitMQ 有 3 种模式，其中 2 种是集群模式。 单一模式：即单机情况不做集群，就单独运行一个 RabbitMQ 而已。 普通模式：默认模式，以两个节点（A、B）为例来进行说明： 当消息进入 A 节点的 Queue 后，Consumer 从 B 节点消费时，RabbitMQ 会在 A 和 B 之间创建临时通道进行消息传输，把 A 中的消息实体取出并经过通过交给 B 发送给 Consumer。 当 A 故障后，B 就无法取到 A 节点中未消费的消息实体；如果做了消息
RabbitMq、Kafka、RocketMq整理
itwxming的博客
05-02 1836
MQ的主要作用：异步提高性能、解耦提高扩展性、削峰。
rabbitmq java 配置_RabbitMQ消息队列入门篇（环境配置+Java实例+基础概念）
weixin_35426913的博客
02-25 996
一、消息队列使用场景或者其优点消息队列通常是在项目中，将一些无需即时返回且耗时的操作提取出来。进行了异步处理，而这种异步处理的方式大大的节省了server的请求响应时间，从而提高了系统的吞吐量。在项目启动之初来预測将来项目会碰到什么需求，是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这同意你独立的扩展或改动两边的处理过程。仅仅要确保它们遵守...
RabbitMQ VS Apache Kafka （九）—— RabbitMQ集群的分区容错性与高可用性
helloworld的专栏
10-31 1293
本章，我们讨论有关RabbitMQ的容错性，消息一致性及高可用性。RabbitMQ可以作为集群节点来运行，因此RabbitMQ通常被归为分布式消息系统，对于分布式消息系统，我们的关注点通常是一致性与可用性。 我们为什么要讨论分布式系统的一致性与可用性，本质在于两者描述的是系统在失败的情况下表现如何。 单节点持久化原语 持久化消息队列/交换器 RabbitMQ支持两种类型的消息队列：持久化队列和非持...
RabbitMQ消息队列入门篇（环境配置+Java实例+基础概念）
热门推荐
小宝鸽
01-09 4万+
一、消息队列使用场景或者其好处消息队列一般是在项目中，将一些无需即时返回且耗时的操作提取出来，进行了异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口
Java-网络
2301_81543552的博客
09-14 718
Java中的网络编程主要涉及使用Socket类进行网络通信，以及理解各种网络协议。以下是一些关键概念和示例代码，帮助您入门。
自动生成不重复的订单id
ClaireCheney的博客
09-13 305
【代码】自动生成不重复的订单id。
【学习笔记】手写 Tomcat 三
LearnTech_123的博客
09-12 1164
响应动态资源不需要写文件名了，只需要写功能的名称即可。比如登录功能，可以定义名称为 doLogin
Java项目: 基于SpringBoot+mybatis+maven课程答疑系统(含源码+数据库+毕业论文)
weixin_43860634的博客
09-14 761
Java项目: 基于SpringBoot+mybatis+maven课程答疑系统(含源码+数据库+毕业论文)
面试题篇: 跨域问题如何处理(Java和Nginx处理方式)
最新发布
m0_66572126的博客
09-14 699
最常见的解决方案是在服务器端配置 CORS 头。服务器需要在响应中添加适当的 Access-Control-Allow-头来允许跨域请求。
通过RabbitMQ实现分布式事务
07-12
通过RabbitMQ实现分布式事务是一个常见的方法。以下是一种可能的实现方式： 1. 创建一个主事务管理服务，它负责协调和管理分布式事务。这个服务可以使用RabbitMQ作为消息代理。 2. 在主事务管理服务中定义一个事务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值