canalDemo实时同步mysql数据库数据介绍

最新推荐文章于 2023-03-10 01:17:03 发布
最新推荐文章于 2023-03-10 01:17:03 发布
阅读量245 收藏
点赞数
分类专栏： mysql 数据仓库技术体系
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenshijie2011/article/details/112005377
版权

 

一、环境介绍

canal是阿里开源的中间件，主要用于同步mysql数据库变更。具体参见：https://github.com/alibaba/canal/releases

搭建环境：Centos6.5 64位

二、部署canal server

（参考：https://github.com/alibaba/canal/wiki/QuickStart）

1.下载canal server

https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz

 

我下载的是canal.deployer-1.1.4.tar.gz，下载完成后解压缩：

mkdir /opt/canal
tar -zxvf canal.deployer-1.1.4.tar.gz -C /opt/canal

 

2.查看binlog相关数据库命令：

 

2.1 是否启用了日志
mysql>show variables like 'log_bin';



2.2 查看详细的日志配置信息
mysql>SHOW GLOBAL VARIABLES LIKE '%log%';

2.3 mysql数据存储目录
mysql>SHOW VARIABLES LIKE '%dir%';


2.4 查看mysql binlog模式
mysql> show variables like 'binlog_format';

2.5 获取binlog文件列表
mysql> show binary logs;


2.6 查看当前正在写入的binlog文件
mysql>show master status


2.7 查看指定binlog文件的内容
mysql>show binlog events in 'mysql-bin.000008';

3.开启binlog

如果log_bin关闭，需要在etc下面找到my.cnf，开启binlog：

log-bin=mysql-bin
binlog-format=ROW
server_id=1

然后重启mysql服务。

4.添加canal mysql数据库账号

 

CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

5.配置canal实例，设置本地数据库信息

vi conf/example/instance.properties

#################################################
## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0

# enable gtid use true/false
canal.instance.gtidon=false

# position info
canal.instance.master.address=127.0.0.1:3306 #监听数据库的ip:port
canal.instance.master.journal.name=mysql-bin.000008  #2.6的binlog文件
canal.instance.master.position=170612  #2.6的position
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
canal.instance.dbUsername=canal #监听数据库的用户名
canal.instance.dbPassword=canal  #监听数据库的密码
canal.instance.connectionCharset = UTF-8
canal.instance.defaultDatabaseName =testcanal  #监听的schema
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=.*\\..*   #监听的schema下的所有表
# table black regex
canal.instance.filter.black.regex=
# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch

# mq config
canal.mq.topic=example
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#################################################

 

6.启动canal

sh bin/startup.sh

7.查看日志

cat /opt/canal/logs/canal/canal.log
2020-12-31 10:52:37.784 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
2020-12-31 10:52:37.820 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
2020-12-31 10:52:37.830 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
2020-12-31 10:52:37.858 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[xxx.xxx.xxx.xxx(xxx.xxx.xxx.xxx):11111]
2020-12-31 10:52:39.169 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......

cat /opt/canal/logs/example/example.log
2020-12-31 10:52:38.158 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2020-12-31 10:52:38.162 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2020-12-31 10:52:38.298 [main] WARN  o.s.beans.GenericTypeAwarePropertyDescriptor - Invalid JavaBean property 'connectionCharset' being accessed! Ambiguous write methods found next to actually used [public void com.alibaba.otter.canal.parse.inbound.mysql.AbstractMysqlEventParser.setConnectionCharset(java.nio.charset.Charset)]: [public void com.alibaba.otter.canal.parse.inbound.mysql.AbstractMysqlEventParser.setConnectionCharset(java.lang.String)]
2020-12-31 10:52:38.334 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2020-12-31 10:52:38.334 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2020-12-31 10:52:39.117 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
2020-12-31 10:52:39.124 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$
2020-12-31 10:52:39.124 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : 
2020-12-31 10:52:39.131 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....

三、canal lient demo

1.pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.cetiti</groupId>
    <artifactId>demoCannal</artifactId>
    <version>1.0-SNAPSHOT</version>
    <packaging>jar</packaging>
    <name>demoCannal</name>
    <description>DataRest project for Spring Boot</description>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.0.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <repositories>
        <repository>
            <id>maven.d.com</id>
            <name>maven.d.com</name>
            <url>http://maven.d.com/repository/public/</url>
        </repository>
    </repositories>

    <dependencies>
        <dependency>
            <groupId>com.alibaba.otter</groupId>
            <artifactId>canal.client</artifactId>
            <version>1.1.4</version>
        </dependency>
        <!--SpringBook所需的jar包 默认不需要写版本号 继承父类的版本号-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-thymeleaf</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <!--Mysql依赖 springboot 2.2.0 好像默认需要一个数据库连接 不写会报错-->
        <!-- MySQL 连接驱动依赖 -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.42</version>
        </dependency>
    </dependencies>
    <!--spirng 打包成war包-->
    <build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
        </plugin>
    </plugins>
    </build>
</project>

 

2.客户端代码

 

import java.net.InetSocketAddress;
import java.util.List;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;
import com.alibaba.otter.canal.protocol.Message;
import com.cetiti.io.dao.DataDao;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.scheduling.annotation.Async;
import org.springframework.stereotype.Service;

@Service
public class CanalTest {

    @Autowired
    private DataDao dataDao;
    @Async
    public void getMysqlMessage() throws Exception {

        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("10.0.40.105", 11111), "example", "canal", "canal");
        connector.connect();
        connector.subscribe(".*\\..*");
        connector.rollback();

        while (true) {
            Message message = connector.getWithoutAck(100); // 获取指定数量的数据
            long batchId = message.getId();
            if (batchId == -1 || message.getEntries().isEmpty()) {
                Thread.sleep(1000);
                continue;
            }
            // System.out.println(message.getEntries());
            printEntries(message.getEntries());
            connector.ack(batchId);// 提交确认，消费成功，通知server删除数据
// connector.rollback(batchId);// 处理失败, 回滚数据，后续重新获取数据
        }
    }

    private  void printEntries(List<Entry> entries) throws Exception {
        for (Entry entry : entries) {
            if (entry.getEntryType() != EntryType.ROWDATA) {
                continue;
            }

            RowChange rowChange = RowChange.parseFrom(entry.getStoreValue());

            EventType eventType = rowChange.getEventType();
            System.out.println(String.format("================> binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(), eventType));

            for (RowData rowData : rowChange.getRowDatasList()) {
                        getStringSql(rowData.getBeforeColumnsList(),entry,rowChange);
            }
        }
    }

    private  void getStringSql(List<Column> columns,Entry entry,RowChange rowChange) {
        switch (rowChange.getEventType()) {
            case INSERT:
                System.out.println("INSERT ");
                for (Column column : columns) {
                    System.out.println(column.getName() + " : " + column.getValue() + " update=" + column.getUpdated());
                }
                break;
            case UPDATE:
                System.out.println("UPDATE ");
                for (Column column : columns) {
                    System.out.println(column.getName() + " : " + column.getValue() + " update=" + column.getUpdated());
                }
                break;
            case DELETE:
                System.out.println("DELETE ");
                StringBuffer sql= new StringBuffer("DELETE FROM "+ entry.getHeader().getSchemaName()+"."+entry.getHeader().getTableName()+" WHERE 1=1 ");
                for (Column column : columns) {
                    System.out.println(column.getName() + " : " + column.getValue() + " update=" + column.getUpdated());
                    if(column.getMysqlType().equals("date")) {
                        sql.append(" and ").append(column.getName()).append("=").append("'").append(column.getValue()).append("'");
                    }
                    else if(column.getMysqlType().contains("varchar"))
                    {
                        sql.append(" and ").append(column.getName()).append("=").append("'").append(column.getValue()).append("'");
                    }
                    else {
                        sql.append(" and ").append(column.getName()).append("=").append(column.getValue());
                    }
                }
                System.out.println(sql.toString());
                dataDao.method(sql.toString());
                break;
            default:
                break;
        }
    }
}

 

3.建立数据库连接，进行delete等数据库操作

源库删除name=13

目标库删除name=13

 

 

四、注意事项

关闭防火墙

service iptables stop

 

科学的N次方
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
canal数据binlog同步demo
04-07
canal订阅监听mysql binlog日志，消费订阅日志demo。 canal\mysql\同步。
canal部署和使用
qq_16248977的博客
09-16 715
下载安装包 release压缩包下载 地址: https://github.com/alibaba/canal/releases 示例:wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz 修改配置 解压并修改配置 conf/canal.propert...
canal demo搭建全记录
weixin_34150830的博客
07-16 693
一、环境介绍 canal是阿里开源的中间件，主要用于同步mysql数据库变更。具体参见：https://github.com/alibaba/canal/releases 搭建环境： vmware centos7 部署mysql和canal windows开发canal client，自动捕获mysql数据库变更 二、Centos安装Mysql 1、尝试用yum安装mysql w...
canal部署、原理和使用介绍
记录各种Bug解决案例及日常学习内容
06-25 766
阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于canal）。这里我们可以简
canal -demo
qq_45745830的博客
11-30 2190
前置环境：秒杀项目入门环境_未来-天祥的博客-CSDN博客环境准备所需资源：由于项目最终跑起来需要的服务器内存较大，建议使用16G或者更大内存的云服务器进行部署。需要安装的环境包括：基础环境(Docker、JDK)、Nacos，MySQL，ElasticSearch，KibanaCentOS 7.6基础环境安装(Docker和JDK)2.4.1 Docker和JDK安装Docker安装# 设置仓库yum install -y yum-utils device-mapper-persistent-data l
MySQL实现两张表数据的同步
09-09
本篇文章将探讨如何利用MySQL的触发器（Triggers）来实现两张表数据的实时同步。 首先，触发器是一种数据库对象，它在特定的数据库事件（如INSERT、UPDATE或DELETE）发生时自动执行预定义的SQL语句。在这里，我们的...
实现两台MySQL数据库数据的同步的方法
09-14
做开发的时候要做Mysql的数据库同步，两台安装一样的系统，都是FreeBSD5.4，安装了Apache 2.0.55和PHP 4.4.0，Mysql的版本是4.1.15，都是目前最新的版本。
特别有用的MySQL数据实时同步到ES轻松配置手册
10-12
在当今大数据时代，实时数据同步成为许多企业和组织的关键需求，特别是从关系型数据库如 MySQL 到分布式搜索引擎如 ElasticSearch（ES）的实时同步。本文将详细介绍如何利用灵蜂数据集成软件 BeeDI 实现这一目标。 ...
Sql Server 数据实时同步到Mysql
09-07
本教程将详细介绍如何将Sql Server的数据实时同步到Mysql的过程，包括关键步骤、注意事项以及可能遇到的问题。 首先，我们需要在Sql Server和Mysql中分别创建需要同步的数据库和表。在Sql Server中，可以使用`...
java实现两个mysql同步主库的数据
07-29
在IT行业中，数据库同步是一个常见的需求，特别是在分布式系统或者高可用架构中，为了保证数据的一致性和完整性，通常需要将一个数据库（主库）的数据实时或定时地复制到另一个数据库（从库）。在这个场景中，Java...
canal与spring整合实例demo
09-21
canal与spring整合demo，整合内容包含服务方，消费方 canal消费方采用策略模式，将不同表的数据分配到相应的Process类中。定义BaseProcess抽象类，包含processInsert、processUpdate、processDelete三个抽象方法，分别用于处理三种类型的数据操作。
canal demo工程
sinat_41359797的博客
03-11 365
1.打开mysql binlog配置 1.1 授权canal账户 CREATE USER canal IDENTIFIED BY 'canal'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ; F...
canal 搭建以及demo
robinhunan的博客
12-27 541
一、环境介绍 canal是阿里开源的中间件，主要用于同步mysql数据库变更。具体参见：https://github.com/alibaba/canal/releases 搭建环境： centos7 部署mysql和canal windows开发canal client，自动捕获mysql数据库变更 二、Centos安装Mysql 1.改用阿里源安装 可是官方的yum源在国内访问效果...
数据同步canal
demo小王子
09-07 142
数据同步 当项目中跨服务器或者使用缓存时，当数据库数据发生变更以后需要进行数据的同步变更。 canal 阿里开源的数据监控监控框架。 原理相对比较简单： canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议 mysql master收到dump请求，开始推送binary log给slave(也就是canal) canal解析binary log对象(原始为byte流) 下载安装以及数据集监控微服务的搭建转载黑马的课件，按
Canal初体验：Springboot整合Canal实现缓存数据一致demo，遇到的问题及解决方案
Jz_Stu的博客
03-10 699
①SpringBoot整合canal的starter，实现数据库和redis缓存数据一致的简单demo ②遇到的问题如部分字段缺失、数据转化异常等问题及解决方案
canal部署与实例运行
huguoping830623的专栏
01-18 4281
1、安装包下载 https://github.com/alibaba/canal/releases 2、部署canal-server （1）开启mysql的binlog功能，并配置binlog模式为row。 在my.cnf 加入如下： log-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 server_id=1 #
优雅数据同步--canal实现mysql同步demo
装睡的小5郎的博客
12-23 2156
当需要两张表数据同步的时候，我们会想到几种方案？最简单的一种方式就是触发器的方式。例如A同步到B,可以通过下面的sql来添加触发器但是这种方式有一定的弊端和局限性，首先就是只局限同库，并且会增大数据库开销，以及无法实现一些自定义的逻辑。canal是阿里推出的一个开源的中间件，它的原理类似于mysql主从的原理，它把自己伪装成mysql的从库，这样就可以从主库中获取binLog来复制数据接下来我们自己搭建一个canal同步mysql的一个demo。
canal 源码解析系列-先把demo跑起来
lucasma的博客
08-15 660
写在前面 把demo跑起来，一个是对canal的功能有个整体的认识，还有就是阅读源码过程中如果有看不懂的地方可以debug下。 环境准备 zk，安装后启动开启2181端口，具体过程省略。 mysql，我本地自己装了一个，方便修改数据验证。另外就是需要确认mysql的binlog格式是ROW才可以。 编写demo demo分为两部分，服务端和客户端。这两部分我都是根据源码包里单元测试修改的。 server端 服务端demo，参考了源码包里的 com.alibaba.otter.canal.ser
卡夫卡实时同步mysql数据库
最新发布
05-09
卡夫卡（Kafka）是一个分布式流处理平台，它可以用于实时数据流处理、消息队列等场景。如果想将 MySQL 数据库的数据同步到 Kafka 中，可以使用 Kafka Connect 的 JDBC Connector 插件。 以下是一些简单的步骤： 1....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值