04_Redis与mysql数据双写一致性案例

最新推荐文章于 2024-11-09 13:22:03 发布
最新推荐文章于 2024-11-09 13:22:03 发布
阅读量380 收藏
点赞数
分类专栏： redis 文章标签： redis mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/loser_you/article/details/132379791
版权
本文介绍了阿里巴巴开源的canal在MySQL主从复制中的作用，以及它如何实现数据库镜像、实时备份和索引维护。重点讨论了canal的工作原理，并探讨了如何通过canal与Redis实现数据双写一致性。
摘要由CSDN通过智能技术生成

04——redis与mysql数据双写一致性

一、canal

  1. 是什么

    canal[ka’nel,中文翻译为水道/管道/沟渠/运河，主要用途是用于MySQL数据库增量日志数据的订阅、消费和解析，是阿里巴巴开发并开源的,采用Java语言开发；

    历史背景是早期阿里巴巴因为杭州和美国双机房部署，存在跨机房数据同步的业务需求，实现方式主要是基野业务tig9er(触发器)获取增量变更。从2010年开始，阿里巴巴逐步尝试采用解析数据库日志获取增量变更进行同步，由此衍生出了canal 项目；

  2. 能干嘛

    1. 数据库镜像

    2. 数据库实时备份

    3. 索引构建和实时维护（拆分异构索引、倒排索引等）

    4. 业务cache刷新

    5. 带业务逻辑的增量数据处理

  3. 下载地址

二、工作原理

  1. 传统mysql主从复制工作原理

    image-20230308221044481

    MySQL的主从复制将经过如下步骤：

    1、当master主服务器上的数据发生改变时，则将其改变写入二进制事件日志文件中；

    2、salve从服务器会在一定时间间隔内对master主服务器上的二进制日志进行探测，探测其是否发生过改变，

    如果探测到master主服务器的二进制事件日志发生了改变，则开始一个/O Thread请求master二进制事件日志；

    3、同时master主服务器为每个l/O Thread启动一个dump Thread,用于向其发送二进制事件日志；

    4、slve从服务器将接收到的二进制事件日志保存至自己本地的中继日志文件中；

    S、save从服务器将启动SQL Thread从中继日志中读取二进制日志，在本地重放，使得其数据和主服务器保持一致；

    6、最后l/O Thread和SQL Thread将进入睡眠状态，等待下一次被唤醒；

  2. canal工作原理

    image-20230308221329535

    canal模拟MySQL slave的交互协议，伪装自己为MySQL slave,向MySQL master发送dump协议

    1. MySQL master收到dump请求，开始推送binary log给slave(即canal)

    2. canal解析binary log对象（原始为byte流）

三、mysql-canal-redis双写一致性

coder_xiaoyou
关注
专栏目录
Redis 双写一致性实践及案例
一位打工仔的博客
08-05 1388
【先更新缓存，再更新数据库】，A、B两个线程发起调用【正常逻辑】【异常逻辑】多线程环境下，A、B两个线程有快有慢有并行结果：mysql100,redis80。
第十五章_Redis与MySQL数据双写一致性工程落地案例
sinat_31583645的博客
05-12 694
canal [kə'næl]，中文翻译为 水道/管道/沟渠/运河，主要用途是用于 MySQL 数据库增量日志数据的订阅、消费和解析，是阿里巴巴开发并开源的，采用Java语言开发；canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL​数据库增量日志解析，提供增量数据订阅和消费。5、salve 从服务器将启动 SQL Thread 从中继日志中读取二进制日志，在本地重放，使得其数据和主服务器保持一致；4、slave 从服务器将接收到的二进制事件日志保存至自己本地的中继日志文件中；
Redis7高级之Redis与Mysql数据双写一致性工程案例（四）
m0_55993923的博客
03-28 1809
下载并配置canal.deployer-1.1.6.tar.gz。MySQL主从复制原理，canal 工作原理介绍，mySQL、canal和redis 双写一致性写了一个通用模板，对于缓存处理使用的策略时先更新数据库，再删除缓存
Redis与MySQL数据双写一致性工程落地案例
m0_69526086的博客
04-27 1331
<junit.version>4.12</junit.version> <log4j.version>1.2.17</log4j.version> <lombok.version>1.16.18</lombok.version> <mysql.version>5.1.47</mysql.version> <druid.version>1.1.16</druid.version> <m
Redis和mysql的数据一致性（实际代码）
xihuanmawei的博客
04-19 374
redis和mysql数据的数据不一致的个人解决办法
Redis与MySQL数据双写一致性工程落地案例，java面试spring框架
m0_60388338的博客
04-04 816
这份《“java高分面试指南”-25分类227页1000+题50w+字解析》同样可分享给有需要的朋友，感兴趣的伙伴们可挑战一下自我，在不看答案解析的情况，测试测试自己的解题水平，这样也能达到事半功倍的效果！（好东西要大家一起看才香）一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！
redis 与 db 双写数据一致性解决方案
07-06 1743
本文的行文次序，首先介绍集中式缓存的缓存模式和数据一致性，然后介绍二级缓存的架构和数据一致性，最后介绍三级缓存的架构和数据一致性 指南2： 不吹牛，本文在全网数据一致性的所有博文中，绝对算是史上最全的。 本文最为全面的介绍了 redis 与 db 双写数据一致性解决方案， 当然， 会参考了最新的一些文章， 但是解决那些 复制来复制去的bug， 另外，本文增加了 L2 、L3 多级缓存的一致性问题 总之 本文非常经典，绝对的高分面试必备， 建议边学习、边思考，并且一定要实战 如果有问..
Java经典面试题：Redis 和 Mysql 如何保证数据一致性
wml_JavaKill的博客
07-28 3751
实时一致性方案：采用“先写 MySQL，再删除Redis”的策略，这种情况虽然也会存在两者不一致，但是需要满足的条件有点苛刻，所以是满足实时性条件下，能尽量满足一致性的最优解。最终一致性方案：采用“先写 MySQL，通过 Binlog，异步更新 Redis”，可以通过 Binlog，结合消息队列异步更新 Redis，是最终一致性的最优解。
如何保证redis与db的双写一致性
sinat_37179161的博客
09-26 272
如何保证redis与db的双写一致性？这是一个十分热门的面试话题。如何理解“一致性”这个概念？“事务”中“一致性”的定义是： 事务执行前后，数据从一个合法性状态变换到另外一个合法性状态。比喻说，更新前：redis中记录的是100，db中记录的也是100。更新后: redis中记录的是 80，db中记录的也是 80。
PHP结合Redis+MySQL实现冷热数据交换应用案例详解
10-16
然而，这种方法也存在挑战，比如Redis的内存管理、数据一致性问题以及后台数据交换脚本的可靠性。在实际应用中，可能需要根据系统规模和需求进一步优化，例如采用分布式Redis集群、引入消息队列等。 总之，通过PHP...
Mysql数据库和Redis缓存如何实现双写一致性？
weixin_71690375的博客
05-25 302
方案选型首先确认产品上对延迟性的要求，如果要求极高，且数据有可能变化，别用缓存。通常来说，方案1就够了，笔者咨询过4，5个团队，基本都是用方案1，因为能用缓存方案，通常是读多写少场景，同时业务上对延迟具有一定的包容性。方案1没有开发成本，其实比较实用。如果想增加更新时的即时性，就选择方案2，不过没必要做重试保证之类的。方案3，方案4针对于对延时要求比较高业务，一个是推模式，一个是拉模式，而方案4具备更强的可靠性，既然都愿意花功夫做处理消息的逻辑，不如一步到位，用方案4。结论一般情况，方案1够用。
Redis缓存双写一致性、穿透（布隆）、雪崩、击穿的案例总结
一个热爱编程的大学僧
05-15 730
关于查询缓存双写一致性、穿透、雪崩、击穿的总结 1、缓存的作用与成本作用：暂存数据处理结果，并提供下次访问使用。在很多场合，数据的处理或者数据获取可能非常费时，当对这个数据的请求量很大时，频繁的数据处理会消耗大量资源。缓存的作用就是将这些来之不易的数据存储起来，当再次请求此数据时，直接从缓存中获取而省略数据处理流程，从而降低资源的消耗提高响应速度 成本：数据不一致问题，缓存层和数据层有时窗口不一致，和更新策略有关；代码维护成本
【Redis】--缓存双写一致性分析、解决方案
寻梦友的博客
08-07 4446
对于高TPS的场景读写，为了保障DB系统性能压力，可以采用：“先更新缓存，后异步同步到DB”。借用MQ中间件，将有问题的key放入MQ，重新消费进行更新缓存【借用第三方组件，耗费大】。：这个方案有一个明显的问题，刚删除完缓存，还未更新数据库时，另一个读请求操作会加载旧的数据到缓存中，造成数据不一致。正常删除即结束，否则将这个信息发送到消息队列，专门有任务从消息队列中获取该数据，重新删除操作，直到成功。方案一：更新数据库失败，可以使用日志或消息队列补偿策略，重新将缓存的数据更新到数据库。
Redis中的线程模型
最新发布
m0_53926113的博客
11-09 987
通过引入多线程，Redis 提升了并发请求处理的能力，同时也保持了原有的单线程模型对请求处理的简单性。通过引入多线程，这些磁盘 I/O 密集型的任务可以并行处理，从而避免了对主线程的阻塞，使得客户端请求的处理更加高效。总之，Redis 采用单线程模型是为了性能、简化设计以及高效的内存操作，但随着技术的发展，Redis 在 6.0 之后适时引入多线程以优化网络 I/O 和持久化任务的处理，进一步提升了系统的整体性能。Redis 使用单线程的设计，充分利用了内存操作的高效性，避免了多线程带来的复杂性。
2024.11.6-Redis的事务与持久化
whisper_Java 的博客
11-06 817
MULTI、EXEC、DISCARD和WATCH 是 Redis 事务相关的命令。Redis的事务是将一系列待执行的指令存到一个Queue中，并使用exec执行事务。​--1. Redis事务是一个独立的隔离机制：事务中的所有命令都会序列化到queue、并按顺序地执行queue里的指令。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。​​multi: 用于开启事务，将待执行的命令放入到队列中exec命令:负责触发并执行事务中的所有命令：discard: 用于取消组队。
redis用法（二）
墨城的博客
11-07 1140
Redis hash 是一个 string 类型的 field（字段） 和 value（值） 的映射表，hash 特别适合用于存储对象。任务，学会五大数据类型，知道一个产品，再使用redis的时候，写入的key是多少个，以及写入的key都是什么类型。Redis 有序集合和集合一样也是 string 类型元素的集合,且不允许重复的成员。Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。集合成员是唯一的，这就意味着集合中不能出现重复的数据。大家公有的，去重的所有数据。
Redis - 事务
ketil27的博客
11-08 848
Redis 的事务和MySQL的事务概念上是类似的.都是把⼀系列操作绑定成⼀组.让这⼀组能够批量执 ⾏.弱化的原⼦性:redis没有"回滚机制".只能做到这些操作"批量执⾏".不能做到"⼀个失败就恢复到 初始状态".不保证⼀致性:不涉及"约束". 也没有回滚.MySQL的⼀致性体现的是运⾏事务前和运⾏后,结果都 是合理有效的,不会出现中间⾮法状态.不需要隔离性:也没有隔离级别,因为不会并发执⾏事务(redis单线程处理请求).
初识Redis
m0_53926113的博客
11-08 1066
通常，内存数据库在性能要求高、访问频繁的系统中广泛应用，比如电商网站中的商品浏览记录，社交平台的用户会话数据等等。：因为支持丰富的数据结构、持久化、分布式等特性，Redis 更适合需要持久化的数据、复杂的操作或分布式架构的场景。在现代的应用中，数据库（如 MySQL）通常是数据存储的核心，但由于数据库的查询速度不如内存，直接访问数据库会影响应用的响应速度。由于 Redis 的内存数据库特性，它能实现对热点数据的快速响应，避免 MySQL 反复查询相同的数据，提升了用户的使用体验。
Go 使用 Redis 实现分布式锁
qq_37106501的博客
11-06 1133
Go 使用 Redis 实现分布式锁
redis的数据同步到MySQL的案例教程
03-25
本文将介绍如何使用Python实现Redis数据同步到MySQL的案例教程。 步骤一：安装依赖 我们将使用Python语言进行Redis-Mysql数据同步的开发，因此需要安装redis和mysql-connector-python两个依赖包。可以通过以下命令...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值