Oh! Binlog还能这样用之Canal篇

最新推荐文章于 2024-08-02 02:01:46 发布

Java架构师课代表

最新推荐文章于 2024-08-02 02:01:46 发布

阅读量531

点赞数

分类专栏：数据库分布式 python 文章标签：数据库分布式 python redis mysql

本文链接：https://blog.csdn.net/bieber007/article/details/108601557

版权

本文介绍了如何利用MySQL的binlog和Canal工具解决数据一致性问题，特别是针对Redis、ES的数据同步。文章详细阐述了MySQL主从复制原理、binlog的三种格式及其优缺点，并对Canal的工作原理和核心组件进行了详解，包括CanalParser、EventSink和EventStore。通过Canal伪装成slave获取binlog，然后进行数据处理和同步，提供了一种高效的数据复制解决方案。

摘要由CSDN通过智能技术生成

背景

不知道是否你还在为下面的问题而困扰：

•当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。•当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。•当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据库的还好，如果是不同数据库就不能保证事务，那么数据一致性也是个问题，就会写很多的修复Job和检查Job。

这些问题相信在很多同学的业务当中应该都遇到过，也可能因为这些问题常常增加了很多的工作量或者导致一些数据不一致的故障。那么我们怎么才能比较简单的解决这些问题呢？

我们想一想这个问题的本质是什么呢？就是需要保证我们的数据不论在redis还是在es都要和我们的mysql一致，本质上是数据的复制。一想到数据的复制，熟悉Mysql的朋友就会说到：Mysql的主备不也是数据复制吗？如果我们模仿Mysql的主备复制，那我们数据同步那么就会很容易了。

Mysql主从

既然我们可以模仿Mysql的主从复制来完成我们的需求，那么我们需要先了解一下mysql主从的原理，如下图所示：

•Stpe 1: 作为master的mysql需要在每个事务更新数据完成之前，将该操作记录串行地写入到binlog文件中，存储在本地磁盘中。

•Step 2: 在我们的salve服务器中开启一个I/O Thread，它会不断的从binlog中读取如果读取。如果进度已经跟上了master，就进入睡眠状态并等待master产生新的事件。所有读取的数据都会写到Relay log（中继日志）中。•Step 3：SQL Thread会读取中继日志，并顺序执行该日志中的SQL事件，从而与主数据库中的数据保持一致。

在主从复制中过程中，其中最为重要的就是binlog，从库会根据binlog的信息从而来复制出一份主库的数据。

如果我们能在业务代码中拿到binlog，通过binlog的数据，复制到redis或者es中，那我们就完全不用担心数据的一致性的问题了。