canal快速入门(小白必看)

最新推荐文章于 2024-06-06 12:05:53 发布
最新推荐文章于 2024-06-06 12:05:53 发布
阅读量1.1k 收藏 2
点赞数 1
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/weixin_42740530/article/details/116294536
版权

文章目录

一：canal简介

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
在这里插入图片描述

通过上图可以看出，canal支持 Mysql、Kafka、ElasticSearch、RocketMq 等，常见的业务场景：数据同步。解析binlog，同步数据到ElasticSearch、RocketMq 等。有了它，我们不需要再专门写一个框架来完成这件事情，完全交给canal就足够了。

基于日志增量订阅和消费的业务包括：

  • 数据库镜像
  • 数据库实时备份
  • 索引构建和实时维护(拆分异构索引、倒排索引等)
  • 业务 cache 刷新
  • 带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

二：工作原理

MySQL主备复制原理

  • MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
  • MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
  • MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

  • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议

  • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )

  • canal 解析 binary log 对象(原始为 byte 流)

三：环境准备

3.1 准备一套Mysql主从集群环境

既然canal是模拟成一台slave服务，来拉取binlog。那肯定得有一套Mysql集群环境（Mysql 主从集群环境），如果有童鞋还没有此环境，可以参考下 Mysql主从集群搭建

3.2 开启binlog

先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

3.3 创建canal用户，用来数据同步

授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

3.4 canal下载

再来下载个canal包，点击下载，我用的是最新版1.1.5。
在这里插入图片描述
上传至linux 上的Mysql master 节点上，如下：
在这里插入图片描述
解压tar

 mkdir -p /usr/local/canal
 tar -zxvf canal.deployer-1.1.5.tar.gz  -C  /usr/local/canal

目录如下：
在这里插入图片描述
3.5 查看mysql master 节点状态

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000002 |     4936 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.01 sec)

3.6 修改canal配置

vi conf/example/instance.properties

## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0

# enable gtid use true/false
canal.instance.gtidon=false

# 注意：标☆☆☆的都是必须修改的，同时也给了注释

# position info 改成自己的数据库信息
# ☆☆☆ canal.instance.master.address：数据库master节点地址
# ☆☆☆ canal.instance.master.journal.name：也就是master中的File
# ☆☆☆ canal.instance.master.position：也就是master中的Position

canal.instance.master.address=192.168.29.134:3306
canal.instance.master.journal.name=mysql-bin.000002
canal.instance.master.position=4936
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
# ☆☆☆ canal.instance.dbUsername：数据库账号
# ☆☆☆ canal.instance.dbPassword：数据库密码

canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=.*\\..*
  • canal.instance.connectionCharset 代表数据库的编码方式对应到 java 中的编码类型，比如 UTF-8，GBK , ISO-8859-1
  • 如果系统是1个 cpu，需要将 canal.instance.parser.parallel 设置为 false

3.7 启动

sh bin/startup.sh

3.8 查看启动日志

cat logs/canal/canal.log

2021-04-28 14:37:13.323 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
2021-04-28 14:37:13.381 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
2021-04-28 14:37:13.402 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
2021-04-28 14:37:13.507 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[192.168.29.134(192.168.29.134):11111]
2021-04-28 14:37:17.415 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......

出现上面说明启动成功

四：CanalClient编写

4.1 创建maven项目，并引入依赖：

<dependency>
    <groupId>com.alibaba.otter</groupId>
    <artifactId>canal.client</artifactId>
    <version>1.1.0</version>
</dependency>

4.2 创建类CanalClientExample

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;

import java.net.InetSocketAddress;
import java.util.List;

public class CanalClientExample {

    public static void main(String args[]) {
        // 创建链接
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("192.168.29.134",
                11111), "example", "", "");
        int batchSize = 1000;
        int emptyCount = 0;
        try {
            connector.connect();
            connector.subscribe(".*\\..*");
            connector.rollback();
            int totalEmptyCount = 120;
            while (emptyCount < totalEmptyCount) {
                Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
                long batchId = message.getId();
                int size = message.getEntries().size();
                if (batchId == -1 || size == 0) {
                    emptyCount++;
                    System.out.println("empty count : " + emptyCount);
                    try {
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                    }
                } else {
                    emptyCount = 0;
                    // System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);
                    printEntry(message.getEntries());
                }

                connector.ack(batchId); // 提交确认
                // connector.rollback(batchId); // 处理失败, 回滚数据
            }

            System.out.println("empty too many times, exit");
        } finally {
            connector.disconnect();
        }
    }

    private static void printEntry(List<CanalEntry.Entry> entrys) {
        for (CanalEntry.Entry entry : entrys) {
            if (entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONBEGIN || entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONEND) {
                continue;
            }

            CanalEntry.RowChange rowChage = null;
            try {
                rowChage = CanalEntry.RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
                        e);
            }

            CanalEntry.EventType eventType = rowChage.getEventType();
            System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                    eventType));

            //打印DDL语句
            if (rowChage.getIsDdl()) {
                System.out.println("================&gt; sql " + rowChage.getSql());
            }


            //打印DML表字段信息
            for (CanalEntry.RowData rowData : rowChage.getRowDatasList()) {
                if (eventType == CanalEntry.EventType.DELETE) {
                    printColumn(rowData.getBeforeColumnsList());
                } else if (eventType == CanalEntry.EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                } else {
                    System.out.println("-------&gt; before");
                    printColumn(rowData.getBeforeColumnsList());
                    System.out.println("-------&gt; after");
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<CanalEntry.Column> columns) {
        for (CanalEntry.Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
        }
    }

}

五：测试canal

要注意下启动顺序：
mysql -> canal server -> canalClient

5.1 启动CanalClient

启动Canal Client后，可以从控制台从看到类似消息：

empty count : 1
empty count : 2
empty count : 3
empty count : 4

此时代表当前数据库无变更数据

5.2 在Mysql master 上执行DDL建表语句

mysql> CREATE TABLE `canal_test_table` ( 
`ID` int(11) NOT NULL AUTO_INCREMENT, 
`X` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,  
PRIMARY KEY (`ID`) 
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 ;

Query OK, 0 rows affected (0.05 sec)

mysql> insert into canal_test_table (id,x) values(null,now());   
Query OK, 1 row affected (0.01 sec)

5.3 CanalClient输出信息

================&gt; binlog[mysql-bin.000002:6757] , name[mytest,canal_test_table] , eventType : CREATE
================&gt; sql CREATE TABLE `canal_test_table` ( `ID` int(11) NOT NULL AUTO_INCREMENT, `X` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,  PRIMARY KEY (`ID`) ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8
empty count : 1
empty count : 2
empty count : 3
empty count : 4
empty count : 5
empty count : 6
================&gt; binlog[mysql-bin.000002:7242] , name[mytest,canal_test_table] , eventType : INSERT
ID : 3    update=true
X : 2021-04-28 15:06:42    update=true
empty count : 1
empty count : 2
empty count : 3

以上就是canal的安装及测试。

六：canal相关文档

canal 消息投递给 kafka/RocketMQ 相关文档
canal 的 docker 模式快速启动
canal Client API 相关文档

七：开心一刻

麻雀和乌鸦一起摆龙门阵。
➤麻雀说：你是啥子鸟哦？
➤乌鸦说：我是凤凰噻！
➤麻雀：哪有你龟儿子这么黑的凤凰哦？
➤乌鸦：你晓得个铲铲，老子是烧锅炉的凤凰噻。。

在这里插入图片描述
如果觉得不错，帮忙点个赞，您的点赞将是我的动力！

男人要霸气
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
canal入门（一）：canal介绍
桃花惜春风
08-31 8949
canal是阿里云的一款开源产品，主要是用来对数据库的实时增量更新和同步。 背景 以下内容来自canal官网介绍 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅...
超详细的Canal入门，看这篇就够了！
热门推荐
yehongzhi1994的博客
08-09 21万+
Canal入门看这篇就够了！
canal入门，看这一篇就够了。
爪哇干货分享
09-04 2054
整体结构 前言 我们在日常的开发中，为了业务查询以及业务实现的需要，不单止要保存在数据库中，还要同步保存到Elastic Search、HBase、Redis、MQ等等。 这时我注意到阿里开源的框架「Canal」，他可以很方便地「同步数据库的增量数据到其他的存储应用」。 什么是Canal ❝ **canal [kə'næl]**，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 ❞ 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是
Canal数据同步
最新发布
zhuge_long的专栏
06-06 908
早期阿里巴巴在杭州和美国部署机房，存在跨机房同步的业务需求，最初的实现是基于业务触发的方式 ，不是是很方便， 2010 年，逐步使用数据库日志解析方式取代，这由此衍生出了大量的数据库增量订阅和消费操作。在这种背景下Canal就出来了。2014年左右，天猫双十一首次引入，用于解决大型促销活动MySQL 数据库的高并发读写问题。后来，在阿里内部得到了广泛应用和推广，并于2017年正式开源。
Canal简介及入门
weixin_55769150的博客
02-13 1439
MySQL的这个特性，是MySQL对标准SQL的一个扩展，从MySQL 3.22.15 引入，5.6已经不推荐使用，5.7已经不支持了（虽然能识别，但是已经被忽略掉，而且会生成ER_WARN_LEGACY_SYNTAX_CONVERTED警告），在后续的版本中会废弃掉。在此描述中，“线程”是接收到INSERT DELAYED语句的线程，“处理程序”是处理特定表的所有INSERT DELAYED语句的线程。线程执行INSERT语句，但不是将行写入表中，而是将最后一行的副本放入由处理程序线程管理的队列中。
Canal入门使用
qq_42108331的博客
04-27 699
Canal入门使用
CanAl入门
01-07
一、为什么要使用canal 1、作用：同步mysql 主要有两种方式： （1）做拉链表 （2）更新redis 2、某些情况无法从日志里获取信息，而又无法利用sqoop等ETL工具对数据实时的监控 二、canal工作原理 1、mysql主备复制的...
canal 入门分享
03-27
对一次学习阿里巴巴mysql数据库binlog的增量订阅&消费组件 的朋友了解入门这个技术
canal-1.1.6
06-22
3. 示例配置：提供示例配置文件，帮助用户快速理解和配置Canal。 4. 文档：包含用户指南、API文档、开发手册等，帮助用户学习如何使用和集成Canal。 5. 依赖库：可能包含Canal运行所需的第三方库，如MySQL驱动、...
canal.deployer-1.1.6
06-22
《Canal Deployer 1.1.6：MySQL数据同步利器详解》 Canal Deployer是阿里巴巴开源的数据同步工具Canal的重要组成部分，主要用于部署和管理Canal实例。在1.1.6版本中，它提供了稳定高效的数据变更捕获与传输服务，...
springboot整合canal
02-23
SpringBoot整合Canal是将阿里巴巴开源的数据库实时变更数据订阅与推送组件Canal与SpringBoot框架结合，以实现高效的数据同步。Canal主要用于数据库的实时增量数据同步，它能够监听MySQL数据库的binlog事件，当数据库...
canal-1.1.5 全套
03-27
包含canal全套资源包含以下 canal.adapter-1.1.5.tar.gz canal.admin-1.1.5.tar.gz canal.deployer-1.1.5.tar.gz canal.example-1.1.5.tar.gz
canal-1.1.7.zip
04-24
canal.admin-1.1.7-SNAPSHOT.tar.gz canal.adapter-1.1.7-SNAPSHOT.tar.gz canal.deployer-1.1.7-SNAPSHOT.tar.gz
canal.adapter-1.1.6.zip
08-31
【标题】"canal.adapter-1.1.6.zip" 提供的是Canal适配器的1.1.6版本，这是一个与数据库变更日志相关的软件组件。 【描述】"canal.adapter-1.1.6.zip" 指出这个压缩包包含的是Canal适配器的特定版本1.1.6，它是一个...
canal-1.1.6-SNAPSHOT.rar
11-25
总的来说，"canal-1.1.6-SNAPSHOT.rar" 是一个便捷的工具，帮助开发者在 JDK 17 环境下快速搭建起数据同步的基础设施，实现数据库的实时监控和数据迁移，提升业务效率和数据安全性。在使用过程中，对配置文件的准确...
阿里Canal从入门到实战(1).pdf
03-22
阿里Canal从入门到实战(1).pdf
canal 入门篇
03-12 4367
canal 入门篇
大数据技术之Canal入门篇
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
03-03 1万+
大数据技术之Canal入门篇
Canal的入门操作记录
qq_51976556的博客
03-10 540
canal其实就是假装自己是从数据库，来监听主数据库的binlog得到数据的变化信息canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )canal 解析 binary log 对象(原始为 byte 流)
canal培训.pptx
03-06
Canal 培训.pptx 文件提供了关于 Canal 服务在数据库增量数据同步和数据订阅方面的详细信息。这份培训材料涵盖了 Canal binlog 同步和 Canal 服务的培训内容，旨在帮助用户了解和掌握如何使用 Canal 实现数据库增量...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值