Ali Canal

最新推荐文章于 2024-04-10 19:55:28 发布
最新推荐文章于 2024-04-10 19:55:28 发布
阅读量527 收藏
点赞数
分类专栏： 数据库 大数据 文章标签： Ali Canal Mysql数据同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42529806/article/details/86666817
版权

文章目录

Ali Canal

背景需求

  1. 背景：分布式系统中会存在许多中间件，比如：Redis、Kafka、大数据存储，但是生产环境核心数据肯定是存在mysql的
  2. 需求：如何将mysql的数据和中间件的数据进行同步，并且确保数据的一致性、及时性，以及做到代码的无侵入式

数据同步解决方案

常规思路

举例：比如将mysql数据同步到ElasticSearch

  1. 代码实现
  • 做法：对mysql进行增删改操作的时，同时进行ES的增删改
  • 好处：技术难度低，实时性高
  • 弊端：代码侵入性强
  1. mybatis实现
  • 做法：mybatis的plugin进行实现，针对insert、update、delete的语句进行处理
  • 弊端：单条数据很好处理，批量数据就处理不了；并且有一定的技术难度
  1. AOP实现
  • 做法：根据相应的规则、范式、注解等进行切面处理
  • 好处：技术难度低，半侵入式
  • 弊端：单条数据很好处理，批量数据就处理不了
  1. logstash
  • 做法：利用logstash提供的文件和数据同步功能，能完成数据的同步，配置也简单
  • 好处：技术难度低，无侵入性，无需开发
  • 弊端：logstash原理是每秒进行一次增量数据查询，将结果同步到ES，实时性要求特别高，而且此方案性能也不咋地，会造成资源浪费

高效思路Canal

组件介绍
  1. 阿里巴巴开源的Canal：github地址—https://github.com/alibaba/canal
  • 好处：能对mysql的binlog进行同步，实时性强，无侵入性，性能也好，不会造成资源浪费
  1. mysql主备复制原理

mysql主备复制原理

  • ① master将改变记录到二进制日志(binary log)中(可以通过show binlog events进行查看)
  • ② slave将master的binary log events拷贝到它的中继日志(relay log)
  • ③ slave重做中继日志中的事件，将改变反映它自己的数据
  1. canal原理

canal原理

  • ① canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
  • ② mysql master收到dump请求，开始推送binary log给slave(也就是canal)
  • ③ canal解析binary log对象(原始为byte流)
  • ④ binlog中的内容：每一个增删改的脚本以及修改前和修改后的数据
  • ⑤ 注意：binlog必须设置成Row模式
  • binlog的数据结构如下：
Entry  
    Header  
        logfileName [binlog文件名]  
        logfileOffset [binlog position]  
        executeTime [binlog里记录变更发生的时间戳,精确到秒]  
        schemaName   
        tableName  
        eventType [insert/update/delete类型]  
    entryType   [事务头BEGIN/事务尾END/数据ROWDATA]  
    storeValue  [byte数据,可展开，对应的类型为RowChange]  
RowChange

isDdl       [是否是ddl变更操作，比如create table/drop table]

sql         [具体的ddl sql]

rowDatas    [具体insert/update/delete的变更数据，可为多条，1个binlog event事件可对应多条变更，比如批处理]

beforeColumns [Column类型的数组，变更前的数据字段]

afterColumns [Column类型的数组，变更后的数据字段]


Column

index

sqlType     [jdbc type]

name        [column name]

isKey       [是否为主键]

updated     [是否发生过变更]

isNull      [值是否为null]

value       [具体的内容，注意为string文本] 

- 可以提供数据库变更前和变更后的字段内容，针对binlog中没有的name,isKey等信息进行补全可以提供ddl的变更语句
- insert只有after columns, delete只有before columns，而update则会有before / after columns数据.
使用
canal下载地址
  1. https://github.com/alibaba/canal/releases
  2. 客户端ClientAPI地址（很重要）：https://github.com/alibaba/canal/wiki/ClientAPI?spm=a2c4e.11153940.blogcont686081.19.117a316cST1LQY
canal在IDEA或者Eclipse中的使用示例
  1. 创建mvn标准工程
mvn archetype:create -DgroupId=com.alibaba.otter -DartifactId=canal.sample
  1. 或者使用generate生成项目
mvn archetype:generate -DgroupId=com.alibaba.otter -DartifactId=canal.sample
  1. pow.xml导入依赖
<dependency>
    <groupId>com.alibaba.otter</groupId>
    <artifactId>canal.client</artifactId>
    <version>1.1.0</version>
</dependency>
  1. ClientSample代码
package com.alibaba.otter.canal.sample;
import java.net.InetSocketAddress;
import java.util.List;


import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;


public class SimpleCanalClientExample {


public static void main(String args[]) {
    // 创建链接
    CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(AddressUtils.getHostIp(),
                                                                                        11111), "example", "", "");
    int batchSize = 1000;
    int emptyCount = 0;
    try {
        connector.connect();
        connector.subscribe(".*\\..*");
        connector.rollback();
        int totalEmptyCount = 120;
        while (emptyCount < totalEmptyCount) {
            Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
            long batchId = message.getId();
            int size = message.getEntries().size();
            if (batchId == -1 || size == 0) {
                emptyCount++;
                System.out.println("empty count : " + emptyCount);
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                }
            } else {
                emptyCount = 0;
                // System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);
                printEntry(message.getEntries());
            }

            connector.ack(batchId); // 提交确认
            // connector.rollback(batchId); // 处理失败, 回滚数据
        }

        System.out.println("empty too many times, exit");
    } finally {
        connector.disconnect();
    }
}

private static void printEntry(List<Entry> entrys) {
    for (Entry entry : entrys) {
        if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
            continue;
        }

        RowChange rowChage = null;
        try {
            rowChage = RowChange.parseFrom(entry.getStoreValue());
        } catch (Exception e) {
            throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
                                       e);
        }

        EventType eventType = rowChage.getEventType();
        System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",
                                         entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                                         entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                                         eventType));

        for (RowData rowData : rowChage.getRowDatasList()) {
            if (eventType == EventType.DELETE) {
                printColumn(rowData.getBeforeColumnsList());
            } else if (eventType == EventType.INSERT) {
                printColumn(rowData.getAfterColumnsList());
            } else {
                System.out.println("-------&gt; before");
                printColumn(rowData.getBeforeColumnsList());
                System.out.println("-------&gt; after");
                printColumn(rowData.getAfterColumnsList());
            }
        }
    }
}

private static void printColumn(List<Column> columns) {
    for (Column column : columns) {
        System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
    }
}
  1. 运行Client
  • 参考：github.com/alibaba/canal/wiki/QuickStart
  • 启动Canal Client后，可以从控制台从看到类似消息：表示当前数据库无变更
empty count : 1
empty count : 2
empty count : 3
empty count : 4
  1. 触发数据库变更
mysql> use test;
Database changed
mysql> CREATE TABLE `xdual` (
    ->   `ID` int(11) NOT NULL AUTO_INCREMENT,
    ->   `X` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
    ->   PRIMARY KEY (`ID`)
    -> ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 ;
Query OK, 0 rows affected (0.06 sec)
mysql> insert into xdual(id,x) values(null,now());Query OK, 1 row affected (0.06 sec)

从控制台中看到：

empty count : 1
empty count : 2
empty count : 3
empty count : 4
================> binlog[mysql-bin.001946:313661577] , name[test,xdual] , eventType : INSERT
ID : 4    update=true
X : 2013-02-05 23:29:46    update=true
linux上配置使用Canal—QuickStart
  1. 地址：https://github.com/alibaba/canal/wiki/QuickStart
  2. Canal Kafka RocketMQ QuickStart
  • 地址：https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart
  1. canal Adapter
  • 官方做的独立的组件Adapter，可以将canal server端获取的数据转换成几个常用的中间件数据源，canal1.1后支持：kafka、rocketmq、hbase、elasticsearch
  • 做法：直接配置就行，不用开发
常见问题
  1. 无法接收到数据，程序也没有报错？
  • 解决：一定要确保mysql的binlog模式为row模式，canal原理是解析Binlog文件，并且直接中文件中获取数据的。
  1. Adapter 使用无法同步数据？
  • 解决：按照官方文档，检查配置项，如sql的大小写，字段的大小写可能都会有影响，如果还无法搞定，可以自己获取代码调试下，Adapter的代码还是比较容易看懂的
  1. canal Adapter elasticsearch 改造
  • 原因：一个全新的elasticsearch无法使用，因为没有创建elasticsearch index和mapping,增加了对应的功能
  • 做法：elasticsearch配置文件mapping节点增加两个参数：
enablefieldmap: true
  fieldmap:
    id: "text"
    BuildingId: "text"
    HouseNum: "text"
    Floors: "text"
    IdProjectInfo: "text"
    HouseDigitNum: "text"
    BuildingNum: "text"
    BuildingName: "text"
    Name: "text"
    projectid: "text"
    bIdProjectInfo: "text"
    cinitid: "text"
    pCommunityId: "text"
  • 解释：enablefieldmap 是否需要自动生成fieldmap，默认为false,如果需要启动的时候就生成这设置为true,并且设置
    fieldmap,类似elasticsearch mapping中每个字段的类型
  1. esconfig bug处理
  • 处理：代码中获取binlog的日志处理时，必须要获取数据库名，但是当获取binlog为type query时，是无法获取
子毅168
关注
专栏目录
SpringBoot系列之canal和kafka实现异步实时更新
Nicky's blog
01-01 1745
canal是阿里开源的， 对数据库增量日志解析，提供增量数据订阅和消费的组件。引用官网的图片，canal的工作原理主要是模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave，向master发送dump 协议，获取到数据后，解析 binary log 对象数据。
阿里开源项目——Canal
月哥说了算的博客
06-07 1109
阿里开源项目——Canal 1.Canal是什么？ canal是阿里巴巴旗下的一款开源项目，使用纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。 2.Canal工作原理
Canal 文档
03-04
Canal 介绍，以及部署文档。。。。。。。vvvvvvvvvvvvv
阿里Canal使用
最新发布
这人脑子有点不够用
04-10 1316
是阿里巴巴开源的一款基于 MySQL 数据库增量日志解析，提供实时的数据订阅和消费服务的工具。它可以用来读取 MySQL 的 binlog 日志并转换成 JSON 格式的事件消息，然后将这些消息发布到下游的消息中间件，比如 RabbitMQ，以实现数据库变更的实时同步。创建一个专门给 Canal 使用的 MySQL 用户账号，并赋予足够的权限来读取 binlog，通常包括 REPLICATION SLAVE 权限。下载并安装 Canal，根据官方文档配置 Canal 的 server 端。
阿里canal
clz1314521的专栏
06-07 699
由于之前项目需要，了解到了阿里优秀框架canal，使用起来真是很不错很方便，分库分表情况下用来缓存或是ES数据的同步很便捷。在尝试过程中，走了点弯路，总结此文，希望能够对观者有所帮助。Canal官方下载地址https://github.com/alibaba/canal/releases下载的canal.deployer启动canal服务端，然后编写客户端程序消费数据，此方式对于应用部署和维护显然...
canal采集win下的MySQL_Ali Canal实现Mysql数据采集转储
weixin_29417899的博客
02-04 234
近期接触的比较多的关于mysql数据实时采集转储，以及后续计算分析的项目，这里对使用到的canal框架进行介绍、基于canal框架的架构设计以及升级canal1.1.0之后的架构优化。ali canal介绍canal 是阿里巴巴mysql数据库binlog的增量订阅&消费组件。早起是为了解决ali跨机房同步的需求。canal分内部版本以及外部版本，外部版本即开源版本，仅支持mysql以及m...
kk运维日记，ali canal adapter安装实录
IT匠人的专栏
06-23 415
介绍 canal 1.1.1版本之后, 增加客户端数据落地的适配及启动功能, 目前支持功能: 客户端启动器 同步管理REST接口 日志适配器, 作为DEMO 关系型数据库的数据同步(表对表同步), ETL功能 HBase的数据同步(表对表同步), ETL功能 (后续支持) ElasticSearch多表数据同步,ETL功能 软件 canal.adapter-1.1.5.tar.gz canal adapter安装 解压 mkdir canal_adapter tar xzvf canal.
阿里canal安装和简介及canal-php使用
致梦Blog
03-28 1027
canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新。
Canal 如何实现数据库库事务的一致性
m0_69377236的博客
04-17 718
在 Canal 中关于事务 Event 的环形缓存区实现类为 EventTransactionBuffer。 [](()1.1 类图 EventTransactionBuffer 的类图如下： 根据类图我们可以到其存储结构还是比较简单的。 int bufferSize环形缓存区的长度，默认为 1024，该长度必须为 2 的幂次方，因为对位运算非常友好。 int indexMask环形缓存区下标掩码，其值为 bufferSize - 1 ，sequence * indexMask 能快速定位序号 s
阿里Canal实时同步MySQL数据到ES等其他存储的开源神器
mnasd的博客
02-03 2603
我们在做网站的搜索功能时需要用到检索数据，而从数据库中来查找效率是很低，而且不现实的。通常对检索支持比较好的就是Elasticsearch或HBase等存储，但是前期的数据都存在mysql数据库中，那么怎么一直实时数据同步到es中，而又不影响现有业务。阿里开源神器canal可以解决这个问题，它可以把MySQL中的数据实时同步到Elasticsearch、HBase等数据存储中。 简介 canal简单说就是对MySQL的增量数据进行实时同步到MySQL、Elasticsearch、HBase等数据存储
阿里开源Canal--简介
Ch3nnn的博客
07-21 2755
canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。 背景 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支
阿里同步神器Canal原理+安装+快速使用
天罡gg的专栏
11-15 5234
最开始听说canal是从mysql与redis双写一致性解决方案，当时并没有太在意，最近由于需要实时同步数据，如果在代码对insert/update/delete做拦截也可以实现，但对代码侵入性太大了，并且后期更改时容易有遗漏，风险太高，这时就又想到了canal，canal的好处在于对业务代码没有侵入，因为是基于监听binlog日志去进行同步数据，这个真的是太爽爽爽了。并且实时性也能做到准实时，这也是canal为什么这么流行，因为确实很多企业会用来做数据同步的方案。
阿里开源数据同步组件Canal
progammer10086的博客
02-26 4175
一.简介 canal是阿里开源的数据同步组件 这个是是git地址 二.使用步骤 1.安装配置mysql 安装一个数据库（这个数据库是被监听的对象，我这里用的是mysql5.7） 创建一个用户专门用于数据同步（这里也可以直接用root用户） ①创建用户 用户名：canal 密码：canal create user 'canal'@'%' identified by 'canal'; ②授予外部访问权限 grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT
深入浅出阿里数据同步神器：Canal原理+配置+实战全网最全解析！
m0_63437643的博客
03-23 7158
canal server: 为了减少对 mysql dump 的请求，不同 server 上的 instance（不同 server 上的相同 instance）要求同一时间只能有一个处于 running，其他的处于 standby 状态，也就是说，只会有一个 canal server 的 instance 处于 active 状态，但是当这个 instance down 掉后会重新选出一个 canal server。但分库分表之后带来的新问题，比如不同维度的查询或者聚合查询，此时就会非常棘手。
阿里Canal部署及使用理解
Cx的博客
01-10 5824
阿里Canal部署及使用理解 Canal的git地址 https://github.com/alibaba/canal Canal原理： 1.canal模拟mysql slave的交互协议，伪装自己为mysql slave,向mysql master发送dump协议； 2.mysql master收到dump请求，开始推送binary log给slave(也就是canal) 3.ca
KK日记，ali Canal Server 安装实录
IT匠人的专栏
06-22 360
介绍 https://github.com/alibaba/canal 安装介质 canal.deployer-1.1.5.tar.gz canal.admin-1.1.5.tar.gz canal.adapter-1.1.5.tar.gz 下载地址：https://github.com/alibaba/canal/releases canal-server安装 安装包：canal.deployer-1.1.5.tar.gz mkdir canal tar xzvfcanal.dep..
阿里的数据同步神器——Canal
恒哥的博客
02-18 1万+
数据增量同步工具 Canal
阿里Canal部署安装小白教程
热门推荐
qq_32254003的博客
08-07 2万+
1.下载canal安装包： 地址：https://github.com/alibaba/canal/releases 2.将下载好的安装包复制到主机 3.使用命令进行安装 进入安装目录：cd /home/hadoop/test/lele 创建canal存放目录：mkdir canal 进入创建好的目录：cd canal 解压安装包：tar -zxvf ../canal.dep
Kubernetes安装Canal网络插件及测试
"Canal网络插件的安装及测试" Canal网络插件是针对Kubernetes（k8s）集群的一种组合解决方案，它结合了Flannel和Calico的功能，提供CNI（Container Network Interface）网络插件，同时支持网络策略。在Canal中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值