Canal：阿里巴巴开源的数据同步神器

最新推荐文章于 2025-03-25 09:40:47 发布

阿贾克斯的黎明

最新推荐文章于 2025-03-25 09:40:47 发布

阅读量1.8k

点赞数 32

分类专栏： java 文章标签： java

本文链接：https://blog.csdn.net/m0_57836225/article/details/143668986

版权

java 专栏收录该内容

747 篇文章

订阅专栏

五、使用 Canal Client 处理数据

在大数据和分布式系统的世界里，数据的实时同步是一个至关重要的环节。阿里巴巴开源的 Canal 为我们提供了一个强大的解决方案。本文将详细介绍 Canal 的使用方法，帮助你轻松掌握这一优秀的数据同步工具。

一、Canal 简介

Canal 是一款基于 MySQL 数据库增量日志解析的开源项目。它模拟了 MySQL 的 slave 节点，通过解析 MySQL 的 binlog 日志来获取数据库的变更信息，如数据的插入、更新和删除操作。这些变更信息可以被 Canal 捕获并发送到其他存储系统、消息队列或者进行自定义的处理，从而实现数据的实时同步和其他相关业务逻辑。

二、Canal 架构及原理

架构
- Canal 主要由 Server 和 Client 两部分组成。
- Canal Server 负责连接到 MySQL 数据库，解析 binlog 日志。它包括了多个组件，如 instance（实例），每个 instance 可以对应一个或多个数据库表的解析。
- Canal Client 则从 Canal Server 获取解析后的变更数据，并进行后续的处理。例如，可以将数据发送到 Kafka 消息队列或者存储到 Elasticsearch 中。
原理
- MySQL 的 binlog 是一种二进制格式的日志文件，记录了数据库的所有更改操作。Canal 通过伪装成 MySQL 的 slave 向 MySQL master 发送 dump 协议请求 binlog 数据。然后，它利用自己的解析引擎对 binlog 进行解析，将二进制数据转换为可读的变更记录。

三、Canal 的安装与配置

下载 Canal
- 可以从 Canal 的官方 GitHub 仓库（GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件）下载相应版本的 Canal 压缩包。下载完成后解压到指定的目录。
配置 MySQL
- 要让 Canal 能够读取 MySQL 的 binlog，需要在 MySQL 中进行一些配置。
- 首先，确保 MySQL 的 binlog 功能已经开启。可以在 MySQL 的配置文件（my.cnf 或 my.ini）中添加或修改以下配置：

[mysqld]
log - bin=mysql - bin
binlog - format=ROW
server - id=1

这里log - bin指定了 binlog 的文件名前缀，binlog - format=ROW表示以行格式记录 binlog，这种格式更适合 Canal 解析，server - id是 MySQL 服务器的唯一标识。
然后，为 Canal 创建一个用于连接 MySQL 的用户，并赋予相应的权限：

CREATE USER 'canal'@'%' IDENTIFIED BY 'canal_password';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

配置 Canal Server
- 在 Canal 解压目录下，找到conf目录，里面有canal.properties文件，这是 Canal Server 的核心配置文件。
- 修改canal.properties中的关键配置：
  - canal.id：指定 Canal 实例的唯一标识。
  - canal.ip：Canal Server 的 IP 地址。
  - canal.port：Canal Server 的监听端口。
  - canal.destinations：配置要监听的实例名称，多个实例用逗号分隔。
- 同时，在conf目录下还有对应每个canal.destinations实例的配置目录，例如example目录（如果canal.destinations中有example）。在该目录下的instance.properties文件中配置数据库连接信息和要监听的表等内容：
  - canal.instance.master.address：MySQL 主库的地址和端口，如127.0.0.1:3306。
  - canal.instance.dbUsername和canal.instance.dbPassword：前面创建的用于连接 MySQL 的canal用户的用户名和密码。
  - canal.instance.filter.regex：配置要监听的表的正则表达式，例如.*\\..*表示监听所有数据库的所有表，也可以指定为your_database\\.your_table只监听特定表。

四、启动 Canal Server

在配置完成后，可以通过脚本启动 Canal Server。在 Canal 解压目录下，根据操作系统不同，执行相应的启动脚本，如bin/startup.sh（Linux）或bin/startup.bat（Windows）。启动后，可以通过查看日志文件（在logs目录下）来确认 Canal Server 是否正常启动以及是否成功连接到 MySQL 数据库和解析 binlog。

五、使用 Canal Client 处理数据

Java 客户端（示例）
- 如果使用 Java 作为 Canal Client，可以添加 Canal 的 Java 客户端依赖到项目中。
- 以下是一个简单的 Java 代码示例，用于从 Canal Server 获取数据并处理：

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import java.net.InetSocketAddress;
import java.util.List;

public class CanalClientExample {
    public static void main(String[] args) {
        // 创建 Canal 连接器，连接到 Canal Server
        CanalConnector connector = CanalConnectors.newSingleConnector(
                new InetSocketAddress("127.0.0.1", 11111),
                "example",
                "",
                ""
        );
        try {
            // 连接到 Canal Server
            connector.connect();
            // 订阅要监听的数据库和表，这里使用之前配置的正则表达式
            connector.subscribe(".*\\..*");
            // 回滚到未处理的位置
            connector.rollback();
            while (true) {
                // 获取一批变更数据
                Message message = connector.get(100);
                long batchId = message.getId();
                if (batchId == -1) {
                    // 没有新数据，等待一段时间后继续尝试
                    Thread.sleep(1000);
                    continue;
                }
                // 解析变更数据
                List<CanalEntry.Entry> entries = message.getEntries();
                for (CanalEntry.Entry entry : entries) {
                    if (entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONBEGIN ||
                            entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONEND) {
                        continue;
                    }
                    CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(entry.getStoreValue());
                    for (CanalEntry.RowData rowData : rowChange.getRowDatasList()) {
                        if (entry.getHeader().getEventType() == CanalEntry.EventType.INSERT) {
                            // 处理插入数据逻辑
                            System.out.println("Insert: " + rowData.getAfterColumnsList());
                        } else if (entry.getHeader().getEventType() == CanalEntry.EventType.UPDATE) {
                            // 处理更新数据逻辑
                            System.out.println("Update: " + rowData.getAfterColumnsList());
                        } else if (entry.getHeader().getEventType() == CanalEntry.EventType.DELETE) {
                            // 处理删除数据逻辑
                            System.out.println("Delete: " + rowData.getBeforeColumnsList());
                        }
                    }
                }
                // 确认这批数据已经处理完成
                connector.ack(batchId);
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            // 关闭连接
            connector.disconnect();
        }
    }
}