理解Canal工作原理及MySql实时同步ES示例

じòve ゛

于 2024-10-10 22:14:51 发布

阅读量418

点赞数 18

文章标签： mysql java rabbitmq elasticsearch

本文链接：https://blog.csdn.net/qq_75166530/article/details/142833159

版权

一、Canal简介

二、理解MySQL主从数据同步

三、理解Canal的工作原理

四、举例Canal+MQ完成信息与ES索引同步

一、Canal简介

Canal，这个名称寓意着水道、管道或沟渠，它在数据同步领域扮演着至关重要的角色。作为一个强大的数据同步工具，Canal不仅与MySQL数据库紧密集成，还能够与众多其他数据源实现无缝对接。

除了MySQL，Canal还支持将数据同步到Elasticsearch（ES）、消息队列（MQ）以及其他数据库（DB）等多种数据源。这种广泛的兼容性使得Canal在数据集成和同步方面极具灵活性，能够满足各种复杂场景的需求。

作为数据管道，Canal的核心优势在于其高效、实时的数据同步能力。它通过对MySQL的binlog日志进行深度解析，能够精准地捕捉到数据库中的每一个变更操作，包括数据的增加、修改和删除等。这些变更操作随后被Canal实时地传输到目标数据源中，确保了数据的一致性和实时性。

此外，Canal还提供了丰富的配置选项和监控工具，使得用户能够根据自己的需求对同步过程进行精细化的控制和优化。无论是同步频率、数据格式还是错误处理等方面，Canal都提供了灵活的配置选项，以满足不同用户的需求。

总的来说，Canal不仅是一个功能强大的数据同步工具，更是一个灵活、可扩展的数据集成平台。它能够帮助用户实现MySQL与其他数据源之间的实时数据同步，为数据分析和业务决策提供有力支持。

下图来自官方文档：

二、理解MySQL主从数据同步

要理解上图中Canal的工作原理需要首先要知道MySQL主从数据同步的原理，如下图：

MySQL主从集群由MySQL主服务器(master)和MySQL从服务器(slave)组成，MySQL主从数据同步是一种数据库复制技术，进行写数据会先向主服务器写，写成功后将数据同步到从服务器，流程如下：

1、主服务器将所有写操作（INSERT、UPDATE、DELETE）以二进制日志（binlog）的形式记录下来。

2、从服务器连接到主服务器，发送dump 协议,请求获取主服务器上的binlog日志。

MySQL的dump协议是MySQL复制协议中的一部分。

3、MySQL master 收到 dump 请求，开始推送 binary log 给 slave

4、从服务器解析日志，根据日志内容更新从服务器的数据库，完成从服务器的数据保持与主服务器同步。

三、理解Canal的工作原理

理解了MySQL主从同步的原理，Canal在整个过程充当什么角色呢？

再回来看这幅图，可以很容易理解其工作流程

工作流程如下：

伪装为 MySQL Slave：
- Canal 首先模拟 MySQL slave 的交互协议，伪装成 MySQL 的一个从服务器（slave）。
- 通过发送 dump 协议请求，Canal 向 MySQL 主服务器（master）发起连接请求。这里的 dump 协议是 MySQL 复制协议中的一部分，用于建立主从复制的连接。
建立连接并接收 Binary Log：
- MySQL 主服务器（master）收到 Canal 发来的 dump 请求后，会验证 Canal 的身份（如果配置了复制用户和密码）。
- 一旦验证通过，MySQL 主服务器会与 Canal 建立长连接，并开始推送 binary log 给 Canal。Binary log 是 MySQL 用于记录数据库变更（如增删改操作）的日志文件。
- Canal 会一直监听这个长连接，等待并接收来自 MySQL 主服务器的 binlog 事件流。每当有新的数据库变更发生时，MySQL 主服务器会实时地将这些变更以 binlog 事件的形式发送给 Canal。
解析 Binlog 并处理变更事件：
- Canal 接收到 binlog 事件后，会及时解析这些事件。解析过程包括识别事件的类型（如 INSERT、UPDATE、DELETE 等）、涉及的表、变更的数据等。
- 根据解析结果，Canal 可以将这些变更事件进一步处理，例如：
  - 将变更事件同步到其他数据库或数据存储系统中，实现数据的实时复制或同步。
  - 将变更事件发送到消息队列中，供其他应用消费和处理。
  - 根据变更事件触发特定的业务逻辑或操作。
持续监听与处理：
- Canal 会持续监听与 MySQL 主服务器的长连接，不断接收并处理新的 binlog 事件。
- 这样，Canal 能够实时地感知和响应 MySQL 主服务器的数据变更，确保数据的一致性和实时性。