Canal使用入门学习

最新推荐文章于 2024-04-10 19:55:28 发布
最新推荐文章于 2024-04-10 19:55:28 发布
阅读量2.2k 收藏 8
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mikelv01/article/details/111238931
版权
本文详细介绍了Canal的用途、工作原理，以及在Windows和Linux环境下配置Canal的步骤，包括MySQL的binlog开启。通过Java客户端展示了如何消费Canal中的数据，同时提到了CanalWebUI的使用。文章还包含了数据库镜像、实时备份、索引维护等应用场景。
摘要由CSDN通过智能技术生成

canal官方github

超详细的Canal入门，看这篇就够了！

阿里开源Canal–①简介

centos7用tar包安装mysql

WINDOWS下MYSQL开启BINLOG

一.简介

canal 主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

基于日志增量订阅和消费包括

  • 数据库镜像
  • 数据库实时备份
  • 索引构建和实时维护
  • 业务 cache 刷新
  • 带业务逻辑的增量数据处理

二.工作原理

MySQL 主备复制原理

  • MySQL master 将数据变更写入二进制日志（binary log，其中记录叫做二进制日志事件 binary log events，可以通过 show binlog events 进行查看）
  • MySQL slave 将 master 的 binary log events 拷贝到它的中继日志（relay log）
  • MySQL slave 重放 relay log 中的事件，将数据变更反映它自己的数据

canal 工作原理

  • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave，向 MySQL master 发送 dump 协议
  • MySQL master 收到 dump 请求，开始推送 binary log 给 slave （即 canal）
  • canal 解析 binary log 对象（原始为 byte 流）

三.MySQL开启log_bin

–> windows

打开 my.ini 文件，在 mysqld 下面添加

server-id=1
log_bin=D:\mysql\mysql-5.7.29-winx64\lib\mysql-bin
binlog-format =ROW

保存文件，重启 mysql 服务

net stop mysql
net start mysql

查看 binlog 状态：show variables like 'log_bin'

524

四.配置canal

4.1 基于Linux

（仍在探索，敬请期待！）

执行命令 vi conf/example/instance.properties

#################################################
## mysql serverId , v1.0.26+ will autoGen
canal.instance.mysql.slaveId=8

# enable gtid use true/false
canal.instance.gtidon=false

# position info 改成自己的数据库信息
canal.instance.master.address=10.187.129.134:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password 改成自己的数据库信息
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=.*\\..*
# table black regex
canal.instance.filter.black.regex=
# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch

# mq config
canal.mq.topic=example
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#################################################

执行命令

sh bin/startup.sh

查看日志

cat /home/tools/canal/canal/logs/canal/canal.log

525

2020-12-15 03:27:27.708 [Thread-6] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## stop the canal server
2020-12-15 03:27:27.760 [Thread-6] INFO  com.alibaba.otter.canal.deployer.CanalController - ## stop the canal server[192.168.133.112(192.168.133.112):11111]
2020-12-15 03:27:27.768 [Thread-6] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## canal server is down.
2020-12-15 03:27:34.256 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
2020-12-15 03:27:34.317 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
2020-12-15 03:27:34.335 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
2020-12-15 03:27:34.428 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[192.168.133.112(192.168.133.112):11111]
2020-12-15 03:27:36.135 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......

到目前为止 canal的服务端我们已经搭建好了 但是到目前 我们只是把数据库的binlog 拉到canal中，我们还得把数据用otter去消费

启动了canal的server之后,便是基于java的客户端搭建了。

首先在canalconf目录底下创建一个独立的文件夹（文件命名 idea_user_data），用于做额外的数据源配置。

526

然后再 idea_user_data 中创建 properties 文件，这个文件可以直接从 example 文件夹中复制，其余几份文件会自动生成

4.2 基于 Windows

528

从 canal 启动打印出的日志可以看出读取配置文件 canal.properties , 该配置文件里配置了 destination=example。因此会去 example 文件夹中读取配置文件

打开配置文件 conf/example/instance.properties，，配置信息如下：

#################################################
## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0

# enable gtid use true/false
canal.instance.gtidon=false

# position info
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=.*\\..*
# table black regex
canal.instance.filter.black.regex=
# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch

# mq config
canal.mq.topic=example
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#################################################

在 windows 下启动可能会报错：

529

要修改下启动的脚本 startup.bat：

530

再启动脚本。

531

这样就启动成功了

五.Java客户端操作

首先引入maven依赖

<dependency>
    <groupId>com.alibaba.otter</groupId>
    <artifactId>canal.client</artifactId>
    <version>1.1.4</version>
</dependency>

在CannalClient类使用Spring Bean的生命周期函数afterPropertiesSet()：

package com.developer.canalspringdemo.deploy;

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry.*;
import com.alibaba.otter.canal.protocol.Message;
import org.springframework.beans.factory.InitializingBean;
import org.springframework.stereotype.Component;

import java.net.InetSocketAddress;
import java.util.List;

@Component
public class CanalClient implements InitializingBean {

    private final static int BATCH_SIZE = 1000;

    @Override
    public void afterPropertiesSet() throws Exception {

        //创建连接
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1", 11111), "example", "", "");
        try {

            //打开链接
            connector.connect();
            //订阅数据库表，全部表
            connector.subscribe(".*\\..*");
            //回滚到未进行ack的地方，下次fetch的时候，可以从最后一个没有ack的地方开始拿
            connector.rollback();
            while (true) {

                //获取指定数量的数据
                Message message = connector.getWithoutAck(BATCH_SIZE);
                //获取批量ID
                long batchId = message.getId();
                //获取批量的数量
                int size = message.getEntries().size();
                //如果没有数据
                if (batchId == -1 || size == 0) {
                    try {
                        //线程休眠2秒
                        Thread.sleep(2000);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                } else {

                    //如果有数据，处理数据
                    printEntry(message.getEntries());
                }
                //进行batch id 的确认。确认之后，小于等于此 batchId 的 Message 都会被确认
                connector.ack(batchId);
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            connector.disconnect();
        }
    }

    /**
     * 打印canal server解析binlog获得的实体类信息
     */
    private static void printEntry(List<Entry> entrys) {
        for (Entry entry : entrys) {
            if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
                //开启/关闭事务的实体类型，跳过
                continue;
            }
            //RowChange对象，包含了一行数据变化的所有特征
            //比如isDdl 是否是ddl变更操作 sql 具体的ddl sql beforeColumns afterColumns 变更前后的数据字段等等
            RowChange rowChage;
            try {
                rowChage = RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(), e);
            }
            //获取操作类型：insert/update/delete类型
            EventType eventType = rowChage.getEventType();
            //打印Header信息
            System.out.println(String.format("================》; binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                    eventType));
            //判断是否是DDL语句
            if (rowChage.getIsDdl()) {
                System.out.println("================》;isDdl: true,sql:" + rowChage.getSql());
            }
            //获取RowChange对象里的每一行数据，打印出来
            for (RowData rowData : rowChage.getRowDatasList()) {
                //如果是删除语句
                if (eventType == EventType.DELETE) {
                    printColumn(rowData.getBeforeColumnsList());
                    //如果是新增语句
                } else if (eventType == EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                    //如果是更新的语句
                } else {
                    //变更前的数据
                    System.out.println("------->; before");
                    printColumn(rowData.getBeforeColumnsList());
                    //变更后的数据
                    System.out.println("------->; after");
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<Column> columns) {
        for (Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
        }
    }
}

创建表：

CREATE TABLE `tb_commodity_info` (
  `id` varchar(32) NOT NULL,
  `commodity_name` varchar(512) DEFAULT NULL COMMENT '商品名称',
  `commodity_price` varchar(36) DEFAULT '0' COMMENT '商品价格',
  `number` int(10) DEFAULT '0' COMMENT '商品数量',
  `description` varchar(2048) DEFAULT '' COMMENT '商品描述',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='商品信息表';

在控制台就可以看到如下信息：

527

================》; binlog[mysql-bin.000001:29066] , name[demo,tb_commodity_info] , eventType : CREATE
================》;isDdl: true,sql:CREATE TABLE `tb_commodity_info` (
  `id` varchar(32) NOT NULL,
  `commodity_name` varchar(512) DEFAULT NULL COMMENT '商品名称',
  `commodity_price` varchar(36) DEFAULT '0' COMMENT '商品价格',
  `number` int(10) DEFAULT '0' COMMENT '商品数量',
  `description` varchar(2048) DEFAULT '' COMMENT '商品描述',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='商品信息表'

新增一条数据到表中：

INSERT INTO tb_commodity_info VALUES('3e71a81fd80711eaaed600163e046cc3','叉烧包','3.99',3,'又大又香的叉烧包，老人小孩都喜欢');

结果

================》; binlog[mysql-bin.000001:29763] , name[demo,tb_commodity_info] , eventType : INSERT
id : 3e71a81fd80711eaaed600163e046cc3    update=true
commodity_name : 叉烧包    update=true
commodity_price : 3.99    update=true
number : 3    update=true
description : 又大又香的叉烧包，老人小孩都喜欢    update=true

六.Canal Web UI

官网

注意：

  • 执行 conf/canal_manager.sql 文件
  • 赋予用户 canal 最高权限

主界面

访问 127.0.0.1:8089，默认密码：admin/123456

533

mikelv01
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
canal使用详解
congge
02-12 2万+
canal实现数据同步
canal使用
weixin_44182814的博客
07-08 690
canal 1.描述 Canal是一个很好的数据库同步工具。canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL 2.准备 canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能 1.检查binlog功能是否有开启，如果显示状态为OFF表示该功能未开启，开启binlog功能 mysql> show variables like 'log_bin'; 2.如果显示状态为
canal 使用详解
zhouzhiwengang的专栏
02-09 7245
译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费工作原理canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )canal 解析 binary log 对象(原始为 byte 流)EntryHeaderlogfileName [binlog文件名]
Canal使用
Janet的博客
05-20 2231
1. Canal 简介 2. Canal 安装 2.1mysql开启binlog模式 2.2Canal 下载安装 windows下部署canal，服务端+客户端 下载地址：https://github.com/alibaba/canal/releases 3. 项目监控数据变化 3.1 导入 maven <dependency> <groupId>com.xpand</groupId> <artifactId>st...
Canal的使用
keepHungery的博客
05-10 2724
Canal的使用 Canal概述 canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于canal）。 使用场景 原始场景：作为异地数据库之间的数据同步 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yV8DrEZV-1589105749424)(C:\Users\txc
canal 入门分享
03-27
对一次学习阿里巴巴mysql数据库binlog的增量订阅&消费组件 的朋友了解入门这个技术
canal.admin-1.1.5-SNAPSHOT.tar.gz
01-04
1.1.5-SNAPSHOT版本是Canal Admin的一个开发版本，提供了最新的功能和改进，对于理解和应用数据库实时同步的开发者来说，具有重要的学习和参考价值。 首先，我们来了解Canal。Canal是一款基于MySQL的数据库增量日志...
product-center-canal.zip
01-31
通过解析，Canal能够理解数据库表结构和变更内容，为后续的数据处理提供基础。 三、数据监听 数据监听是Canal的另一个重要功能。通过Canal Server，可以实时监听数据库的变更事件，并将这些事件推送给订阅者。这...
基于Canal的MySQL数据同步中间件.zip
02-17
【项目资源】： 包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码...鼓励下载和使用，并欢迎大家互相学习，共同进步。
dolfyn-fortran.rar_BP_canal4a4_故障数据_神经网络识别_网络故障
07-15
用户可能需要了解Fortran编程基础，以及神经网络的基本概念和算法，才能有效地理解和使用这个工具。通过这个项目，我们可以看到，即使在传统的编程语言如Fortran中，也可以实现先进的机器学习技术，解决实际问题。 ...
Canal使用详解
技术人集结地
12-22 2672
Canal是阿里巴巴开发的MySQL binlog增量订阅&消费组件，Canal是基于MySQL二进制日志的高性能数据同步系统。在阿里巴巴集团中被广泛使用，以提供可靠的低延迟增量数据管道。Canal Server能够解析MySQL Binlog并订阅数据更改，而Canal Client可以将更改广播到任何地方，例如数据库和。Canal支持所有平台，细粒度系统监视，通过不同方式解析和预订MySQL Binlog，以及高性能、实时数据同步。
canal使用指南（一）
imVainiycos的博客
12-22 8630
Canal的使用指南。实现一个简单纯净的client-service，暂时不接入mq。 文章目录一、什么是canal二、准备工作三、canal服务端搭建3.1 配置文件3.1.1 canal.properties3.1.2 instance 实例配置3.2 开始启动3.3 查看日志四、客户端实现 一、什么是canal canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务.
阿里Canal使用
最新发布
这人脑子有点不够用
04-10 1189
是阿里巴巴开源的一款基于 MySQL 数据库增量日志解析，提供实时的数据订阅和消费服务的工具。它可以用来读取 MySQL 的 binlog 日志并转换成 JSON 格式的事件消息，然后将这些消息发布到下游的消息中间件，比如 RabbitMQ，以实现数据库变更的实时同步。创建一个专门给 Canal 使用的 MySQL 用户账号，并赋予足够的权限来读取 binlog，通常包括 REPLICATION SLAVE 权限。下载并安装 Canal，根据官方文档配置 Canal 的 server 端。
超详细的Canal入门，看这篇就够了！
热门推荐
yehongzhi1994的博客
08-09 21万+
Canal入门看这篇就够了！
超详细的canal使用总结
小飞的博客
10-12 1万+
超详细的canal使用总结 canal的介绍 ​ canal，译意为水道/管道/沟渠，从官网的介绍中可以知道，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 ​ 这是一张官网提供的示意图： 官网的解释最权威，我就直接引用一下官网的原话，另，附上官网地址：https://github.com/alibaba/canal 基于日志增量订阅和消费的业务包括 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带业务逻辑的增量数据处理
Canal安装及使用
11-05 1199
Canal安装及使用1.Canal工作原理2.mysql开启binlog模式3.canal容器安装4.canal微服务搭建5.content广告微服务搭建5.1 广告查询5.2 同步实现6.项目源码→在日志的day04记录 1.Canal工作原理 原理相对比较简单： canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议 mysql master收到dump请求，开始推送binary log给slave(也就是canal) canal
canal入门教程
婲落ヽ红颜谇的博客
09-18 586
cannal安装 下载地址 https://github.com/alibaba/canal/releases/tag/canal-1.1.1 下载后解压安装即可 配置 canal.properties中配置 canal.instance.master.address = 127.0.0.1:3306 canal.instance.dbUsername = canal canal.instance.dbPassword = canal canal.instance.defaultDatabaseName.
Canal AdminGuide
agapple
03-19 719
 背景    先前开源了一个开源项目： 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&amp;消费】     本文主要是介绍一下如何部署&amp;使用   环境要求 1. 操作系统     a.  纯java开发，windows/linux均可支持     b.  jdk建议使用1.6.25以上的版本，稳定可靠，目前阿里巴巴使用基本为此版本.    2. ...
Linux环境下Canal安装配置与使用指南
本文档详细介绍了在Linux环境下安装和使用Canal的过程，包括Canal、Kafka的安装配置以及客户端如何消费Kafka消息。Canal主要用于MySQL数据库增量日志解析，提供增量数据订阅和消费服务，适用场景包括数据库镜像、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值