关于使用canal进行双向同步时回流问题的处理

置顶 已于 2023-03-22 21:07:11 修改
阅读量1.6k 收藏 7
点赞数 4
分类专栏： # canal 文章标签： 数据库 database canal 双向同步 回流
于 2022-02-21 15:37:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25215821/article/details/123024170
版权

目录

关于使用canal进行双向同步时回流问题的处理

前置条件

仅讨论数据库binlog使用ROW模式（可用 SHOW GLOBAL VARIABLES LIKE ‘binlog_format’ 命令查看）

当两个数据库的同一张表名都被canal订阅并同步到对方库时，如图
在这里插入图片描述

问题产生原因

连续对同一张表的同一个字段修改为不同值时，就会产生数据回流（即相同的两条或两条以上的更新/插入语句不断重复的被执行消费执行消费再执行）

不管是对同一个库还是不同的库修改都会产生这个问题

解决方案分析(以下方案都需要修改canal源码)

方案1 基于redis去重（不精准拦截）

既然是相同的sql重复执行消费，那么在写入和发送的节点上增加一个重复判断操作即可
不过该方案数据还是会产生一次循环消费，需要在第二次发送的时候才会被拦截，如图
在这里插入图片描述
该方案只能拦截一段时间内的重复sql，即基于redis内存大小以及内存淘汰机制决定

方案2 基于sql注释方案（精准拦截）

基于 SET GLOBAL binlog_rows_query_log_events=1;（默认0不开启）参数，该参数是MySQL 5.6.2版本之后才有的，设置后会在binlog使用ROW格式时额外把SQL语句也记录到binlog中
基于SQL语句，我们可以在SQL语句中加入自定义标识的注释来起到区分写入源的目的，如果能区分写入源的话，那么就能做到精准拦截，如图
在这里插入图片描述
SQL注释示例 UPDATE /*这里是注释*/ table_name SET file_name = file_value;
要实现这

方案实践

由于方案1实现不能做到精准拦截，这里只对方案2做详细说明
要实现方案2需要对SQL写入方和binlog读出的canal方进行改造封装

  1. MQ消费端也就是同步写入端的所有执行SQL都经过SQL注释封装
    public class SqlCommentUtil {

    private static final String SQL_COMMENT = "test_canal_sync_filter_COMMENT";

    /**
     * 对sql添加注释标识
     * @param sql 原SQL
     * @return 添加注释标识的sql
     */
    public static String sqlCommentHandler(String sql) {
        int startIndex = sql.indexOf("/*");
        int endIndex = sql.indexOf("*/");
        // 可能SQL本身就存在注释，需要去掉
        if (startIndex != -1 && endIndex != -1) {
            sql = sql.substring(0, startIndex) + sql.substring(endIndex + 2);
        }

        String addStr = String.format("/*--%s--*/", SQL_COMMENT);
        int index = sql.indexOf(" ");
        return sql.substring(0, index) + addStr + sql.substring(index);
    }
}
  2. canal源码修改
    2.1. 获取canal源码，地址： https://github.com/alibaba/canal
    2.2. 找到 MQMessageUtils 类所在包路径
    在这里插入图片描述
    2.3. 创建 SimpleCheck 拦截类
    package com.alibaba.otter.canal.connector.core.producer;

import com.alibaba.otter.canal.protocol.CanalEntry;
import org.apache.commons.lang.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.util.CollectionUtils;

public class SimpleCheck {

    private static final String SQL_COMMENT = "test_canal_sync_filter_COMMENT";

    protected Logger logger = LoggerFactory.getLogger(this.getClass());

    private Boolean sqlFilter;

    /**
     * @param entry
     * @return
     */
    public boolean checkFilter(CanalEntry.Entry entry) {
        // 事务开始
        if (entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONBEGIN) {
            sqlFilter = null;
            return true;
        }

        // 事务结束
        if (entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONEND) {
            sqlFilter = null;
            return true;
        }

        CanalEntry.RowChange rowChange = parseFrom(entry);
        // ddl语句
        if (rowChange.getIsDdl()) {
            refreshComment(rowChange);
            return sqlFilter;
        }
        // sql语句，这里不同步
        if (StringUtils.isNotBlank(rowChange.getSql())) {
            refreshComment(rowChange);
            return true;
        }
        // 具体变更的字段内容
        if (CollectionUtils.isEmpty(rowChange.getRowDatasList())) {
            return true;
        }
        if (sqlFilter == null) {
            // 原则上不会出现该日志，如果出现该日志说明没有精准拦截
            logger.info("tableName[{}], eventType[{}]", entry.getHeader().getTableName(), rowChange.getEventType());
        }
        return sqlFilter == null || sqlFilter;
    }

    protected CanalEntry.RowChange parseFrom(CanalEntry.Entry entry) {
        try {
            return CanalEntry.RowChange.parseFrom(entry.getStoreValue());
        } catch (Exception e) {
            throw new RuntimeException(e.getMessage(), e);
        }
    }

    private void refreshComment(CanalEntry.RowChange entry) {
        String site = parseComment(entry);
        sqlFilter = StringUtils.equals(SQL_COMMENT, site);
    }

    private String parseComment(CanalEntry.RowChange rowChange) {
        String sql = rowChange.getSql();
        return StringUtils.substringBetween(sql, "/*--", "--*/");
    }
}
    2.4. 创建 MyMQMessageUtils 类用来替换 MQMessageUtils 类的 messageTopics 方法
    package com.alibaba.otter.canal.connector.core.producer;

import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.ByteString;
import com.google.protobuf.InvalidProtocolBufferException;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.function.Consumer;

/**
 *
 */
public class MyMQMessageUtils {

    private static final SimpleCheck SIMPLE_CHECK = new SimpleCheck();

    /**
     * @param message             原message
     * @param defaultTopic        默认topic
     * @param dynamicTopicConfigs 动态topic规则
     * @return 分隔后的message map
     */
    public static Map<String, Message> messageTopics(Message message, String defaultTopic, String dynamicTopicConfigs) {
        List<CanalEntry.Entry> entries = getEntryList(message);
        Map<String, Message> messages = new HashMap<>();
        Consumer<Entry> messagePutConsumer = getMessagePutConsumer(messages, message, dynamicTopicConfigs);
        for (CanalEntry.Entry entry : entries) {
            if (SIMPLE_CHECK.checkFilter(entry)) {
                continue;
            }
            messagePutConsumer.accept(entry);
        }
        return messages;
    }

    private static List<CanalEntry.Entry> getEntryList(Message message) {
        if (!message.isRaw()) {
            return message.getEntries();
        }
        List<ByteString> rawEntries = message.getRawEntries();
        List<CanalEntry.Entry> entries = new ArrayList<>(rawEntries.size());
        for (ByteString byteString : rawEntries) {
            CanalEntry.Entry entry;
            try {
                entry = CanalEntry.Entry.parseFrom(byteString);
            } catch (InvalidProtocolBufferException e) {
                throw new RuntimeException(e);
            }
            entries.add(entry);
        }
        return entries;
    }

    private static Consumer<Entry> getMessagePutConsumer(Map<String, Message> messages, Message message, String topicName) {
        return entry -> {
            Message newMessage = messages.get(topicName);
            if (newMessage == null) {
                newMessage = new Message(message.getId());
                newMessage.setRaw(false);
                messages.put(topicName, newMessage);
            }
            newMessage.addEntry(entry);
        };
    }
}
    2.5. 最后替换原来调用 MQMessageUtils#messageTopics 方法的引用到 MyMQMessageUtils#messageTopics 上即可，以RocketMq的CanalRocketMQProducer 为例
    在这里插入图片描述

方案验证

  1. 创建测试表

    CREATE TABLE `test` (
 `id` bigint NOT NULL AUTO_INCREMENT,
 `age` bigint DEFAULT NULL,
 `name` varchar(20) DEFAULT NULL,
 `create_date` datetime DEFAULT NULL,
 `update_date` datetime DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

  2. 启动 CanalLauncher 类并配置参数

    -Dcanal.instance.master.address=mysql.yun.com:3306
-Dcanal.instance.dbPassword=admin
-Dcanal.instance.dbUsername=root
-Dcanal.instance.filter.black.regex=
-Dcanal.instance.filter.regex=.*\..*
-Dcanal.serverMode=RocketMQ
-Dcanal.mq.servers=127.0.0.1:9876;
-Dcanal.mq.dynamicTopic=test-canal-sync-filter-topic
-Dcanal.mq.producerGroup=test-canal-sync-filter-group
-Dcanal.mq.partitionHash=.*:$pk$
-Dcanal.mq.partitionsNum=16

    在这里插入图片描述

  3. 先看看没有开启 binlog_rows_query_log_events 配置情况
    在这里插入图片描述
    执行 INSERT INTO test(age, name, create_date, update_date) VALUES(“1”, “1”, NOW(), NOW());
    binlog记录为三条记录，一条事务开始、一条数据行、一条事务结束
    在这里插入图片描述

  4. 打开 binlog_rows_query_log_events 参数后
    在这里插入图片描述
    执行 INSERT INTO test(age, name, create_date, update_date) VALUES(“2”, “2”, NOW(), NOW());
    binlog记录为三条记录，一条事务开始、一条SQL语句、一条数据行、一条事务结束
    在这里插入图片描述

  5. 最后验证以下带注释的SQL

    INSERT /*test_sync_comment*/ INTO test(age, NAME, create_date, update_date) VALUES("3", "3", NOW(), NOW());

    在这里插入图片描述
    拿到sql的注释之后就可以基于注释标识来识别写入原来确定是否要同步该条数据

过程中可能踩的坑

  1. idea报错不兼容（Error:(25, 80) java: 不兼容的类型: 无法推断类型变量 K,V）

    问题
    在这里插入图片描述
    解决，添加新版本的JDK，JDK8也有好些版本，建议使用高版本
    在这里插入图片描述
    idea有自带的JDK的
    在这里插入图片描述
    最后更新一下版本
    在这里插入图片描述

  2. 没有日志
    需要手动添加canal源码所在文件夹上级目录logs文件夹内的canal.log文件
    在这里插入图片描述

  3. 报 class could not be found 错误

    2022-02-21 12:42:12.527 [main] ERROR com.alibaba.otter.canal.deployer.CanalLauncher - ## Something goes wrong when starting up the canal Server:
java.lang.IllegalStateException: Extension instance(name: rocketmq, class: interface com.alibaba.otter.canal.connector.core.spi.CanalMQProducer)  could not be instantiated: class could not be found
	at com.alibaba.otter.canal.connector.core.spi.ExtensionLoader.createExtension(ExtensionLoader.java:169) ~[classes/:na]
	at com.alibaba.otter.canal.connector.core.spi.ExtensionLoader.getExtension(ExtensionLoader.java:121) ~[classes/:na]
	at com.alibaba.otter.canal.deployer.CanalStarter.start(CanalStarter.java:68) ~[classes/:na]
	at com.alibaba.otter.canal.deployer.CanalLauncher.main(CanalLauncher.java:117) ~[classes/:na]

    在canal根目录的pom.xml下执行 mvn package 命令打包即可

扩展

  1. 如果把注释标识进行传递，再对每个sql有个终端进行记录，就可以识别所有sql的发起服务
  2. binlog_rows_query_log_events 参数有会话和全局设置，会话级别设置当前会话之后执行的sql立即生效，全局级别设置断开会话后重新连接生效，如果重启MySQL则会还原默认值，所以生产环境建议在配置文件中设置该值
  3. DDL和DML语句中只有删除表操作的注释捕捉不到即 DROP table xxx
  4. canal会自动记录binlog消费下标，但是长时间下线导致重新上线时获取不到上次binlog文件位置则会报错，一个binlog文件默认500M 根据使用量会影响binlog过期速度

总结

  1. binlog_rows_query_log_events 参数设置ROW模式同时记录执行的SQL语句到binlog文件
  2. DROP 表语句获取不到原始注释，创建/删除视图语句也不行
  3. sql注释格式为： /*这里是注释*/
  4. 拦截的核心思路就是写入方写入唯一标识让监听读出时可识别并进行拦截或分发
  5. SHOW GLOBAL VARIABLES LIKE ‘binlog_format’ 语句结果需要为 ROW模式
工与绩不过兴与兴
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
canal mysql从库_大厂如何基于binlog解决多机房同步mysql数据（一）？
weixin_39560066的博客
12-16 346
目录前言单一IDC多IDCmysql主从同步数据同步方案多机房mysql同步方案优化同步方案同步方案的问题如何解决重复插入对于DDL语句处理如何解决唯一索引冲突如何解决数据回环问题总结前言小伙伴们是否经常听说多机房部署，异地容灾？什么两地3中心，三地5中心？是否好奇多机房部署，数据之间是如何共享的呢？今天老顾就来尝试着给大家解惑解惑，并详细介绍一下数据同步的问题。单一IDC上图的架构，是一个IDC...
使用canal增量同步mysql数据库信息
10-26
使用 Canal 增量同步 MySQL 数据库信息 Canal 是一个基于 MySQL 二进制日志的高性能数据同步系统，广泛用于阿里巴巴集团（包括 https://www.taobao.com），以提供可靠的低延迟增量数据管道。 Canal 广泛应用于大...
Canal、Canaladmin、Canaladapter多instance数据库表双向同步，TCP/Zookeeper、Rocketmq配置
殷长庆的博客
07-02 2666
目录背景配置下载MySQL配置单机模式配置Canaladmin配置Instance配置Canal配置Canaladapter配置集群模式(ZK)Canaladmin配置Canal配置使用RocketMQCanaladmin配置 Instance配置Canaladapter配置两个MySQL数据库实例中，实现order表双向同步增删改操作准备一台Linux，用来安装canal环境，需要提前安装JDK和MySQL，安装JDK是为了启动canal这三个项目，这个是必要的安装MySQL是因为admin用到了cana
解决：多主mysql之间Canal循环同步问题
qq_30481491的博客
07-13 512
canal 解析同步mysql binlog 通过server-id避免循环同步
CloudCanal（数据同步、迁移）详解
最新发布
WXY888888888的博客
07-04 737
全量迁移和增量同步过程中，CloudCanal 允许用户上传业务代码(Java 代码，jar 包形式上传)，对数据进行转换、过滤、补充等操作。通过机器准备、软件安装与激活、数据源添加、任务创建与运行4步,可快速使用 CloudCanal 进行数据迁移与同步。
java实现通过canal和mysql同步
qq_35220073的博客
11-13 896
然后对cananl.deployer-1.1.6目录下example配置。然后拿到之前数据和之后数据的情况，写入es或者redis、mq等。打开cananl.deployer-1.1.6下的conf目录。下载 canal.deployer-1.1.6。然后在mysql中创建一个canal账户。查看当前正在写入的binlong文件。下载mysql 我用的5.7。查看binlog日志文件列表。以上就是对canal的配置。在mysql中测试一下。主要对下面几项进行配置。
Canal数据同步多库循环问题，修改源码解决
syqenter的专栏
11-17 254
canal有两个入口，一个是deployer模块下的CanalLauncher，一个是client-adaptor的launcher模块下的CanalAdapterApplication，至于admin的就很简单了。DML：数据内容的同步，这里主要针对insert和update，因为不涉及大量数据吞吐的情况，所以通过最简单的query查询，然后去比对是否相同，来判断是否再进行处理。用canal做数据同步，业务上分为主子库，相互同步，这样就会出现循环同步的情况。因为用的开源代码，最简单的办法就是修改源码。
系统重构过程中的异构数据同步回环处理
Iamduyabo的博客
05-12 866
1，背景 随着业务发展，公司初创伊始延续下来的it项目，会出现：边界不清晰，指责混乱，重构在所难免。 重构的时候，需要重新设计库表，并重新编码实现业务，为了安全起见，一般会引入金丝雀发布环境。 所以在一段时间内，系统是存在两个异构的底层数据，以及新旧两个系统共存。这就要处理好异构数据的双向同步问题。 2，方案 使用canal，上传binlog到kfk，然后写py脚本消费kfk消息。https://blog.csdn.net/yehongzhi1994/article/details/1078801
同步回流
wcj_java的专栏
05-10 191
1.根治sql数据回流问题 2.canal配置MQ单个消息大小为默认的50k，避免消息解密时间耗时过长； 3.去除redis回流判断检测，在mysql中执行以下命令： SET GLOBAL binlog_rows_query_log_events=1; 原理：mysql执行以上命令后，binlog日志中会增加注释信息，回流检测可以通过类似打标签的进行判断，canal在判断是否为回流信息时，若sql中含有标签信息，则进行回流拦截，否则放行(ps：需重启相关后端服务，否则产生的sql不具备标签注释信息，会导致拦
基于Canal实现MySQL 8.0 数据库数据同步
lym003的博客
04-23 2990
基于Canal实现MySQL8.0数据库数据同步的全流程操作。
docker使用Canal实现ClickHouse实时同步MySQL数据
05-09
docker使用Canal实现ClickHouse实时同步MySQL数据
使用Canal监听数据库配置时所报的异常记录
01-20
因此，我们需要确保Canal使用的数据库用户具有这些必要的权限。 1. **权限配置**： - 确保在MySQL中为Canal用户分配了正确的权限。在示例中，用户是`canal`，并且似乎已经授予了一些基本的增删改查权限。但为了...
canal实现mysql到ES数据实时同步
07-11
- 运行Canal Adapter的启动脚本，如`bin/start.bat`或`bin/start.sh`，开始监听Canal Server的数据变更并进行同步。 6. **测试与监控**： - 观察Canal Server和Adapter的日志，确认数据同步是否正常。 - 使用...
Linux下Canal安装和使用.doc
06-10
Linux 下 Canal 安装和使用 Canal 是一个基于 MySQL 数据库增量日志解析的工具，提供增量数据订阅和消费。 Canal 的主要用途包括数据库镜像、数据库实时备份、索引构建和实时维护、业务 Cache 刷新、带业务逻辑的...
系统重构数据同步利器之Canal实战篇
bytearch
02-18 1708
一、背景二话不说，先上图上图来自于官网(https://github.com/alibaba/canal)，基本上涵盖了目前生产环境使用场景了，众所周知，Canal做数据同步已经是行业内标...
基于Otter+Canal部署数据库双向同步
07-10 2912
基于Otter+Canal部署数据库双向同步 向阿里优秀的工程师们及其无私的开源精神致敬 Otter简介（略） Otter原理概述 基于Canal开源产品，获取数据库增量日志数据；也就是说，所有的node节点依赖于canal获取binlog，并分析。 典型管理系统架构，manager(web管理)+node(工作节点)； a. manager运行时推送同步配置到no...
Alibaba Canal数据同步 mysql-＞mysql
qq_43152576的博客
07-26 2772
canal 数据同步 adapter
Canal Adapter1.1.5版本API操作服务，手动同步数据（4）
进击的小白
01-18 1803
api类：com.alibaba.otter.canal.adapter.launcher.rest.CommonRest 查看同步任务instance列表 curl http://127.0.0.1:8081/destinations >> [{"destination":"canal-test","status":"on"}] 同步开关 curl http://127.0.0.1:8081/syncSwitch/canal-test/off -X PUT >&g
canal同步mysql字段中有关键字如何处理
06-01
在Canal中，可以通过设置过滤规则来解决同步mysql字段中包含关键字的问题。具体的操作步骤如下： 1. 在Canal的配置文件中指定过滤规则，例如： ``` canal.instance.filter.regex=your_schema\\..* canal.instance.filter.black.regex=your_schema\\.table_name\\..* canal.instance.filter.field=your_schema\\.table_name\\.field_name, your_schema\\.table_name\\.field_name2 ``` 其中，`canal.instance.filter.regex`表示需要同步的表的正则表达式；`canal.instance.filter.black.regex`表示需要过滤掉的表的正则表达式；`canal.instance.filter.field`表示需要同步的字段名。可以在`canal.instance.filter.field`中指定需要同步的字段，并将包含关键字的字段进行过滤。例如，如果需要同步的字段名为`type`，可以将其替换为`type1`或者其他没有关键字的名称。 2. 在mysql中修改字段名。如果需要同步的字段名包含关键字，可以在mysql中修改字段名，将其中的关键字进行替换或者省略，以达到可以同步的目的。 综上所述，处理同步mysql字段中包含关键字的问题，可以通过Canal的过滤规则或者修改mysql字段名来解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值