Redis异步写失败后补数逻辑设计

于 2024-01-09 15:29:58 发布
阅读量591 收藏 10
点赞数 6
分类专栏： redis 文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lixia0417mul2/article/details/135481622
版权

背景

最近各种机房事故频发，所以很多公司都对Redis存储等进行异步多活，我们公司采用的方式是通过客户端双写的方式来实现异地Redis机房的备份，但是当异地机房出现临时网络故障时，就涉及到了如何进行补数的操作，本文就是来记录下如何补数

Redis补数设计

首先可以补数的前提肯定需要记录写异地机房失败的redis命令，所以当客户端在写异地机房失败时，我们需要先把失败的redis命令写到kafka主题中，不过由于我们需要确保同一个key操作的顺序性，所以需要确保同一个redis的key命令发送到同一个kafka分区

其次补数的主要逻辑是通过对比Redis源集群和目标集群对应key的数据，把Redis源集群的key对应的value设置到目标Redis集群的key上面

此外还需要考虑的一些要点包括：

1.为了防止对Redis造成太大的压力，消费消息时需要进行限流(可以通过预期QPS/分片数=每个分片的消费速度，进行每分片限流)

2.补数时针对不同的redis的cmd需要不同的处理逻辑，比如针对SADD和SET就是两种不同的处理逻辑

方案设计如下
在这里插入图片描述

lixia0417mul2
关注
专栏目录
Redis常见问题
weixin_47920113的博客
08-31 368
在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知， 这里对 Redis 常见问题做一个总结。 1、 为什么使用Redis 在项目使用redis，主要是考虑性能和并发。 项目中我们碰到需要执行很久的并且结果不频繁变动的查询时，就可以将结果集放在redis缓存中，之后的请求就会到缓存中读取，没有所需结果再去数据库查询。极大的提高了性能，使得请求能够迅速响应。 在并发性比较高的情况所有的请求直接访问数据库可能会导致数据库连接异常，利
redis系列（二）redis协议与异步方式
m0_70418130的博客
10-19 882
redis是基于reactor模式设计的内存数据库。redis是单线程redis 单线程是指其网络事件处理模型 reactor 是单线程，即指令的执行是在单线程上操作。但是其包括IO读取，网络IO操作都是通过多线程执行的。
项目优化：当使用redis减少数据库压力时，遇到redis写入失败，造成读取数据问题的解决方案
张志文的博客
04-13 2235
场景： 我们项目用到了mq，有一个专门的服务在跑异步任务去发mq，这个mq的数据不是从数据库里面查的，而是从redis里面取的，之所以这么做，有两个原因： 1、使用redis减少数据库的压力； 2、本来异步任务是放在生产环境中的，包括涉及的异步任务表，都是和生产环境在一起的，那么异步任务多的时候，就会对生产环境造成压力，比如数据库压力、cpu等，所以后来将异步任务专门抽成一个服务，并专门给该项目做一个异步任务数据库和表，就是为了减少生产环境的压力。生产环境通过redis将数据传递给异步任务服务。 那么现在出
Redis6-雪崩、击穿、穿透、分布式锁
liming0025的专栏
02-06 9000
一、布隆过滤器 上亿级别数据，怎么判断是否存在。数据集合已经存在了，判断某个元素是否存在。 为了解决这个问题，布隆过滤器诞生了。它是一个很长的二机制数组（bitmap）和一些列的随机hash算法映射函数，主要判断一个集合是否在元素中存在。统计结果不算准确。 特点： 高效的插入和查询，占用空间小，返回结果是不确定的 一个元素如果判断结果为存在的时候元素不一定存在（hash冲突），但是判断其不存在则一定不存在 可以添加元素，但是不能删除元素，因为删除元素会导致错误率增加 误判只会发生在没有添加过的
Redis【一】缓存常见问题与解决方案
SpringHASh的博客
11-05 1222
这个便是经典的缓存穿透问题（缓存穿透与缓存击穿非常相似，区别点在于缓存穿透的实际请求数据在数据库中也没有，而缓存击穿是仅仅在缓存中没命中，但是在数据库中其实是存在对应数据的）。有些人盯上了论坛的内容，便搞了个爬虫程序，模拟帖子ID的生成规则，调用查询详情接口并传入自己生成的ID去遍历挖取系统内的帖子数据，这样导致很多传入的ID是无效的、系统内并不存在对应ID的帖子数据。如果先删除缓存成功，然后更新数据库失败，这种情况下，再次读取的时候，会从DB里面将旧数据重新加载回缓存中，数据是可以保持一致的。
redis学习
seulzz的博客
08-31 3993
本文围绕以下几点进行阐述 1、为什么使用redis 2、使用redis有什么缺点 3、单线程的redis为什么这么快 4、redis的数据类型，以及每种数据类型的使用场景 5、redis的过期策略以及内存淘汰机制 6、redis和数据库双写一致性问题 7、如何应对缓存穿透和缓存雪崩问题 8、如何解决redis的并发竞争问题 1、为什么使用redis 分析:博主觉得在项目中使用redi...
Redis
mufengmozi的博客
12-15 165
Nosql not only sql,意思：不仅仅是sql 泛指非关系型的数据库、随着互联网web2.0兴起。传统的关系型数据库在应付2.0网站，特别是超大规模和高并发的SNS类型的纯动态网站已经显得力不从心，暴露了很多难以克服的问题。而非关系型的数据库则是由于其本身的特点得到了非常迅速的发展，nosql数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用的难题，包括超大...
Redis从入门到精通(九)Redis实战(六)基于Redis队列实现异步秒杀下单 测试项目代码
04-08
**Redis入门到精通系列之九：Redis实战(六)——基于Redis队列实现异步秒杀下单测试项目代码** 在本教程中，我们将探讨如何利用Redis的队列特性来实现一个高效的异步秒杀下单系统。秒杀活动是电商、营销活动中常见的...
PHP Swoole异步Redis客户端实现方法示例
10-16
在PHP开发中，为了提升Web应用的性能和处理能力，...通过合理的回调函数设计，可以构建出高性能的Redis数据交互逻辑。在实际开发中，应结合项目需求，考虑同步和异步操作的适用场景，以达到最佳的性能和可维护性。
基于redis实现高并发异步秒杀点评项目
最新发布
05-20
在构建高并发异步秒杀点评项目时，Redis作为一个高性能的键值数据库，扮演着至关重要的角色。本文将深入探讨如何利用Redis来处理大规模并发请求，实现高效的秒杀系统，并结合点评项目的特性进行优化。 首先，秒杀...
Redis+Kafka异步提高并发
凛冬将至
07-08 1842
Redis+Kafka异步提高并发Redis+Kafka异步提高并发设计实现提交请求接口Kafka消费队列异步处理Service客户端轮询获取结果Redis集群节点配置KafKa集群节点配置压力测试 Redis+Kafka异步提高并发 我们平时开发的后台接口，如果不优化，比如加缓存，异步等，接口并发量很难上得来，因为业务逻辑处理需要时间，后面的请求都在排队，时间一长就都超时了，这就是压力测试经常遇到的问题。简单说就是并发量上不来，那如何提高并发呢。 设计 提高并发通常有几个步骤，而且是循序渐进的。通常我是按
Redis缓存处理方案以及方案存在问题分析
孤海岛主
03-23 1746
1:数据库操作前删除缓存 问题：先删缓存，在改库前，其他事务又把旧数据放到缓存里去了。会造成以后读取的都是旧数据（影响较大） 2：数据库操作后删除缓存 问题：修改数据库后，删除缓存之前，有一部分会读到旧数据（缩小了读取旧数据的量，但是依然有问题）删除缓存失败也会造成大批量数据错误 缓存删除失败可用事务进行配置或者使用mq进行删除 3：双删： 问题：第一次删除缓存后，有事务在数据库更新之前先查询数据库，并且在第二次清空缓存之后更新了缓存（仍为旧数据，影响也较大） 4：延时双删.
秒杀 redis预扣减库存回滚补偿机制---实现最终一致性
酷毙了耶的博客
07-17 1万+
最近在搞秒杀抢购业务,考虑到秒杀会频繁扣减库存和回滚库存 ,会占用数据库资源,转而使用了redis做库存预扣减,然后在开发过程中遇到了些问题,发现网络上的redis做最终一致性很垃圾,根本没考虑回滚失败后如何保证预扣减库存的最终一致,我猜想可能是这方面的东西值钱(自卖自夸一下,哈哈),好了,开始正文 问题: 问题是这样出现的,在回滚的的时候,如果服务器重启,而且重启的时候正好是redis更新成功,而修改订单由于mysql事务会自动回滚,幂等也没有记录成功,此时就会出现预扣减库存错乱 实现技术: 一.red
Redis常见问题汇总
RuiKe的博客
06-12 1708
需要说明的是，redis不是每隔100ms将所有的key检查一次，而是随机抽取进行检查(如果每隔100ms,全部key进行检查，redis岂不是卡死)。在读取时，先获取当前版本号，然后进行操作，最后再次验证版本号是否一致，如果版本号不一致，说明该键已被其他客户端修改，需要重新尝试。不是的，如果定期删除没删除key，也没即时去请求key，也就是说惰性删除也没生效。在获取某个key的时候，redis会检查一下，这个key如果设置了过期时间那么是否过期了，如果过期了此时就会删除（懒汉式）。
redis数据丢失及解决
热门推荐
良玉的博客
11-09 1万+
Redis的数据回写机制 Redis的数据回写机制分同步和异步两种， 同步回写即SAVE命令，主进程直接向磁盘回写数据。在数据大的情况下会导致系统假死很长时间，所以一般不是推荐的。异步回写即BGSAVE命令，主进程fork后，复制自身并通过这个新的进程回写磁盘，回写结束后新进程自行关闭。由于这样做不需要主进程阻塞，系统不会假死，一般默认会采用这个方法。 个人感觉方法２采用fork主进程的
Redis持久化机制及缓存失效解决方案
踩踩踩从踩的博客
10-19 2949
Redis集群故障监测及哨兵机制原理解析 Redis海量数据存储方案Redis Cluster 前言 在之前的文章写过redis的实用功能，包括数据结构，主从复制结构，以及应对高并发海量数据场景下的分片redis cluster 集群；本篇文章继续学习redis框架应对缓存失效，以及持久化机制及内存管理出现的问题，以及提供的解决方案及思想。 概述 在redis中缓存失效的原因主要是重启导致数据失效， 解决方案 RDB、AOF持久化机制。以及aof中为什么能保证数据在断电或重启不失效的原因，提供不同的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值