记录使用cannel做数据同步

Canal介绍

canal官网地址：https://github.com/alibaba/canal

由上面两张图片可知：
Canal 模拟 MySql Slave 的交互协议，伪装自己为 MySql Slave ，向 MySql Master 发送dump 协议。

• MySQL master将数据变更写入二进制日志binary log,简称Binlog。
• MySQL slave将master的binary log拷贝到它自己的中级日志relay log
• MySQL slave重放relay log操作，将变更数据同步到最新状态
  

MySQL Binlog日志

MySQL 的Binlog可以说 MySQL 最重要的日志，它记录了所有的 DDL 和 DML语句，以事件形式记录。
MySQL默认情况下是不开启Binlog，因为记录Binlog日志需要消耗时间，官方给出的数据是有1%的性能损耗。

是否打开MySQL的binlog根据实际情况取舍
一般来说，在下面两种场景下会打开BinLog：

• MySQL 主从集群部署时，需要将在 Master 端开启 Binlog，方便将数据同步到Slaves中。
• 数据恢复，通过使用 MySQL Binlog 工具来使恢复数据。

Canal安装部署

MySQL配置

首先得有一个MySQL服务，并检查数据库配置是否正常，可以在数据库中执行以下语句查看：

--查看是否开启bin_log日志，value = on表示开启
SHOW VARIABLES LIKE 'log_bin';
-- 查看bin_log日志文件
SHOW BINARY LOGS;
--查看bin_log写入状态
SHOW MASTER STATUS;
--查看bin_log存储格式 = row
SHOW VARIABLES LIKE 'binlog_format';
--查看数据库服务id
SHOW VARIABLES LIKE 'server_id';

如果说没有上面的配置，与预期不符，大家需要修改配置文件 my.cnf（Linux）或者 my.ini（windows）

log-bin=D:/Apache/mysql-8.0.29-winx64/binlogs/mysql-bin.log//指定binlog存储的目录
binlog-format=row//选择ROW模式
binlog-do-db= xxxxDb //选择开启的数据库名
server-id=1 //配置mysql replaction需要定义，不要和canal的slavveID重复

正常开启状态下：

MySQL服务器这边基本上就搞定了，easy。
如果想给Canal担负一个账号，单独创建一个 并授权就可以了

-- 使用命令登录：mysql -u root -p
-- 创建用户 用户名：canal 密码：Canal@123456
create user 'canal'@'%' identified by 'Canal@123456';
--授权 *.*表示所有的库
grant SELECT.REPLICATION SLAVE,REPLICATION CLIENT on *.* to 'canal'@'%' identified by 'Canal@123456'

安装Canal

去官网下载页面进行下载 canal官网

下载后解压到本地目录，目录结构：

修改conf/canal.properties

对应的实例文件对应conf目录下的文件夹名称

修改example目录下的instance.properties配置文件，
将数据库链接和对应用户名密码修改成自己数据库的信息

项目代码中加入canal的依赖

<dependency>
     <groupId>com.alibaba.otter</groupId>
     <artifactId>canal.client</artifactId>
     <version>1.1.4</version>
</dependency>

JAVA代码

package com.zxx.study.base.canal;


import com.alibaba.fastjson.JSONObject;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.ByteString;
import com.google.protobuf.InvalidProtocolBufferException;
import lombok.SneakyThrows;

import java.net.InetSocketAddress;
import java.util.List;

/**
 * @author zhouxx
 * @create 2024-08-01 21:59
 */
public class CanalClient  {

    @SneakyThrows
    public static void main(String[] args) {
        try {
            // 创建canal客户端，单链接模式
            CanalConnector canalConnector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1",
                    11111), "example", "", "");
            // 创建连接
            canalConnector.connect();
            while (true) {
                // 订阅数据库 订阅xxxxxDB下的所有表
                 canalConnector.subscribe("xxxxxDB.*");

                // 获取数据
                Message message = canalConnector.get(100);

                // 获取Entry集合
                List<CanalEntry.Entry> entries = message.getEntries();

                // 判断集合是否为空,如果为空,则等待一会继续拉取数据
                if (entries.size() <= 0) {
                System.out.println("当次抓取没有数据，休息一会。。。。。。");
                    Thread.sleep(1000);
                } else {
                    // 遍历entries，单条解析
                    for (CanalEntry.Entry entry : entries) {

                        //1.获取表名
                        String tableName = entry.getHeader().getTableName();

                        //2.获取类型
                        CanalEntry.EntryType entryType = entry.getEntryType();

                        //3.获取序列化后的数据
                        ByteString storeValue = entry.getStoreValue();

                        //4.判断当前entryType类型是否为ROWDATA
                        if (CanalEntry.EntryType.ROWDATA.equals(entryType)) {

                            //5.反序列化数据
                            CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue);

                            //6.获取当前事件的操作类型
                            CanalEntry.EventType eventType = rowChange.getEventType();

                            //7.获取数据集
                            List<CanalEntry.RowData> rowDataList = rowChange.getRowDatasList();

                            //8.遍历rowDataList，并打印数据集
                            for (CanalEntry.RowData rowData : rowDataList) {

                                JSONObject beforeData = new JSONObject();
                                List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList();
                                for (CanalEntry.Column column : beforeColumnsList) {
                                    beforeData.put(column.getName(), column.getValue());
                                }

                                JSONObject afterData = new JSONObject();
                                List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();
                                for (CanalEntry.Column column : afterColumnsList) {
                                    afterData.put(column.getName(), column.getValue());
                                }

                                //数据打印
                                System.out.println("Table:" + tableName +
                                        ",EventType:" + eventType +
                                        ",Before:" + beforeData +
                                        ",After:" + afterData);
                                /**
                                 * Table:test_user,EventType:UPDATE,Before:{"name":"1111221","id":"1"},After:{"name":"11tom","id":"1"}
                                 * Table:test_user,EventType:INSERT,Before:{},After:{"name":"zhouxx","id":"17"}
                                 * Table:test_user,EventType:INSERT,Before:{},After:{"name":"zhouxx1","id":"18"}
                                 * */
                            }
                        }
                    }
                }
            }
        }catch (Exception e){
            e.printStackTrace();
        }

    }

}

修改数据后查看效果