CANAL同步RDB实验（1）

最新推荐文章于 2024-05-06 09:47:58 发布

秒变学霸的18岁码农

最新推荐文章于 2024-05-06 09:47:58 发布

阅读量983

点赞数 1

文章标签：数据库 mysql java

本文链接：https://blog.csdn.net/2301_76957510/article/details/130884552

版权

一、CANAL 简介

canal是Alibaba旗下的一款开源项目,纯Java开发.它是基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持mysql。

应用场景

canal的数据同步不是全量的，而是增量。基于binary log增量订阅和消费，canal可以做：

数据库镜像
数据库实时备份
索引构建和实时维护
业务cache(缓存)刷新

具体业务场景

数据同步，比如：做在线、离线数据库之间的数据同步操作；
数据消费，比如：需要根据关注的数据库表的变化，做搜索增量；
数据脱敏，比如：需要将线上动态数据导入到其他地方，做数据脱敏。

Mysql主从复制原理

MySQL的master将写入二进制日志(binary log，可以通过show binlog events进行查看)

MySQL的slave将master的binary log events拷贝到它的中继日志(relay log)

MySQL的slave重放relay log中的事件，将数据变更反映到它自己的数据库中

Canal工作原理

canal实际上是把自己模拟成了MySQL的slave，向MySQL master发送dump协议

MySQL master收到dump请求后，开始推送自己的binary log给slave，也就是canal

canal解析binary log对象(原始为 byte 流)

本文档介绍单canal server 同步数据到rdb的方法

同步逻辑:src_mysql(172.16.134.24) <-> canal-deploy <-> client-adapter <-> dest_mysql(172.16.134.25)

二、Cancal 各个组件用途及介绍

2.1 组件介绍

canal-deploy:可将其看做canal server。它负责伪装成mysql从库，接收、解析binlog并投递（不做处理）到指定的目标端（RDS、MQ 或 canal adapter）

canal-adapter:是canal的客户端适配器，可将其看作canal client。能够直接将canal同步的数据写入到目标数据库（hbase,rdb,es），

rdb是关系型数据库比如MySQL、Oracle、PostgresSQL和SQLServer等，比较的快捷方便。

canal-admin：为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。

三、Cancal 各个组件安装配置

3.1 Canal-admin 的安装

1、数据库创建用户

create user canal identified with mysql_native_password by 'canal';

grant all privileges on *.* to 'canal'@'%';

flush privileges;

2、下载并解压

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.admin-1.1.5.tar.gz

cd /u01/canal-admin

tar –zxvf canal.admin-1.1.5.tar.gz

3、初始化原数据

mysql -uroot -proot -S /u01/mysql3310/data/mysql.sock

mysql> source /u01/canal-admin/conf/canal_manager.sql

4、修改配置文件

vi u01/canal-admin/conf/application.yml

5、启动canal-admin

cd /u01/canal-admin/bin

sh startup.sh

排查错误见：/u01/canal-admin/logs/admin.log

6、登录canal-admin

注意： canal admin，默认密码：admin/123456，第一次登录必须使用此密码登录，然后改成配置文件中的密码

http://172.16.134.24:8089

3.2 Canal-deployer 的安装部署

1、下载并解压

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz

cd /u01/canal-deployer

tar –zxvf canal.deployer-1.1.5.tar.gz

2、修改配置文件

cp canal.properties canal.properties_bk

cp canal_local.properties canal.properties

说明：canal_local.properties 为引入canal-admin 使用，但canal-admin实际加载的是canal.properties

vi /u01/canal-deployer/conf/ canal_local.properties

mysql> select * from canal_user \G

*************************** 1. row ***************************

id: 1

username: admin

password: 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9

name: Canal Manager

roles: admin

introduction: NULL

avatar: NULL

creation_date: 2019-07-14 00:05:28

1 row in set (0.00 sec)

3、新建集群（可选）

如果需要集群，需要在集群管理内新建集群，配置集群信息，我们先不配置集群，选择单点

4、新建server（可选）

如果不需要集群，选中单机

下面三个必填项 server名称自定义，Server IP 为当前服务器的IP ，admin端口默认11110

5、启动canal-deployer

cd /u01/canal-deployer/bin

sh startup.sh

启动完成后，canal服务端会自动注册到管理端,并完成Server创建

6、修改server配置

依次点击 “Server管理” ➡️ “操作” ➡️ “配置/修改”，修改 canal server 的基础信息和 canal.properties 配置信息

配置信息：主要有ZK集群配置、服务模式、目标端配置（MQ、RDS），根据需要修改

7、新建instance配置文件

依次点击 “Instance管理” ➡️ “新建instance” ➡️ “输入instance名称”➡️ “选择集群/主机” ➡️”载入模板”，修改instance.properties 配置信息

配置项说明：

修改，主要就是维护instance.properties配置，做了修改之后会触发对应单机或集群server上的instance做动态reload

删除，相当于直接执行instance stop，并执行配置删除

启动/停止，对instance进行状态变更，做了修改会触发对应单机或集群server上的instance做启动/停止操作

日志，主要针对instance运行状态时，获取对应instance的最后100行日志，比如example/example.log

3.3 Canal-adapter 的安装

1、下载并解压

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.adapter-1.1.5.tar.gz

cd /u01/canal-deployer

tar –zxvf canal.adapter-1.1.5.tar.gz

2、修改配置文件

配置目标：捕获源库TEST所有变化到目标库TEST中

cd /u01/canal-adapter/conf

cp application.yml application.yml_bk

vi application.yml

修改项

1、canal-server 地址和端口

2、数据库地址、账号密码（源库、目标库）

3、canalAdapters 相关配置

server:

port: 8081

spring:

jackson:

date-format: yyyy-MM-dd HH:mm:ss

time-zone: GMT+8

default-property-inclusion: non_null

canal.conf:

mode: tcp #tcp kafka rocketMQ rabbitMQ # canal client的模式: tcp kafka rocketMQ

flatMessage: true

zookeeperHosts:

syncBatchSize: 1000

retries: 0

timeout:

accessKey:

secretKey:

consumerProperties:

# canal tcp consumer

canal.tcp.server.host: 172.16.134.24:11111 #对应单机模式下的canal server的ip:port

canal.tcp.zookeeper.hosts: #对应集群模式下的zk地址, 如果配置了canalServerHost, 则以canalServerHost为准

canal.tcp.batch.size: 500

canal.tcp.username:

canal.tcp.password:

# kafka consumer

kafka.bootstrap.servers: 127.0.0.1:9092

kafka.enable.auto.commit: false

kafka.auto.commit.interval.ms: 1000

kafka.auto.offset.reset: latest

kafka.request.timeout.ms: 40000

kafka.session.timeout.ms: 30000

kafka.isolation.level: read_committed

kafka.max.poll.records: 1000

# rocketMQ consumer

rocketmq.namespace:

rocketmq.namesrv.addr: 127.0.0.1:9876

rocketmq.batch.size: 1000

rocketmq.enable.message.trace: false

rocketmq.customized.trace.topic:

rocketmq.access.channel:

rocketmq.subscribe.filter:

# rabbitMQ consumer

rabbitmq.host:

rabbitmq.virtual.host:

rabbitmq.username:

rabbitmq.password:

rabbitmq.resource.ownerId:

srcDataSources: #定义源数据库#

defaultDS:

url: jdbc:mysql://172.16.134.24:3310/test?useUnicode=true

username: canal

password: canal

canalAdapters: #适配器列表

- instance: canal_1221 # canal instance Name or mq topic name#canal-server 上定义的instance#

groups: #分组列表,一组内配置被订阅串行执行

- groupId: g1 #分组id, 如果是MQ模式将用到该值

outerAdapters: #分组内适配器列表

- name: logger #日志打印适配器

- name: rdb #指定为rdb类型同步

key: mysql1 #指adapte的唯一key, 与表映射配置中outerAdapterKey对应

properties:

jdbc.driverClassName: com.mysql.jdbc.Driver

jdbc.url: jdbc:mysql://172.16.134.25:3310/test?useUnicode=true

jdbc.username: canal

jdbc.password: canal

# properties: #可以定义多个#

#jdbc.driverClassName: com.mysql.jdbc.Driver

#jdbc.url: jdbc:mysql://172.16.134.25:3310/test01?useUnicode=true

#jdbc.username: canal

#jdbc.password: canal

# - name: rdb

# key: oracle1

# properties:

# jdbc.driverClassName: oracle.jdbc.OracleDriver

# jdbc.url: jdbc:oracle:thin:@localhost:49161:XE

# jdbc.username: mytest

# jdbc.password: m121212

# - name: rdb

# key: postgres1

# properties:

# jdbc.driverClassName: org.postgresql.Driver

# jdbc.url: jdbc:postgresql://localhost:5432/postgres

# jdbc.username: postgres

# jdbc.password: 121212

# threads: 1

# commitSize: 3000

# - name: hbase

# properties:

# hbase.zookeeper.quorum: 127.0.0.1

# hbase.zookeeper.property.clientPort: 2181

# zookeeper.znode.parent: /hbase

# - name: es

# hosts: 127.0.0.1:9300 # 127.0.0.1:9200 for rest mode

# properties:

# mode: transport # or rest

# # security.auth: test:123456 # only used for rest mode

# cluster.name: elasticsearch

# - name: kudu

# key: kudu

# properties:

# kudu.master.address: 127.0.0.1 # ',' split multi address

注意点:

其中 outAdapter 的配置: name统一为rdb, key为对应的数据源的唯一标识需和下面的表映射文件中的outerAdapterKey对应, properties为目标库jdbc的相关参数
adapter将会自动加载 conf/rdb 下的所有.yml结尾的表映射配置文件

修改rdb 配置文件

cd /u01/canal-adapter/conf/rdb

vi mytest_user.yml

#dataSourceKey: defaultDS # 源数据源的key, 对应上面配置的srcDataSources中的值

#destination: example # cannal的instance或者MQ的topic

#groupId: # 对应MQ模式下的groupId, 只会同步对应groupId的数据

#outerAdapterKey: mysql1 # adapter key, 对应上面配置outAdapters中的key

#concurrent: true #是否按主键hash并行同步, 并行同步的表必须保证主键不会更改及主键不能为其他同步表的外键!!

#dbMapping:

# database: text #源数据源的database/shcema

# table: user #源数据源表名

# targetTable: tb_user #目标数据源的表名，这边不能设置为目标数据库.表名，目标库只能在应outerAdapter中的表示的库名

# targetPk: #主键映射

# id: id #如果是复合主键可以换行映射多个 #

# mapAll: true # 是否整表映射, 要求源表和目标表字段名一模一样

# 是否整表映射, 要求源表和目标表字段名一模一样 (如果targetColumns也配置了映射,则以targetColumns配置为准)

# 注意这段表述“以targetColumns配置为准”。这个并不是说只同步 targetColumns配置的属性。而是说一样要同步源表的所有属性。

# 但是考虑到目标表的属性名称可能不完全一致，有区别的属性名称可以通过targetColumns来配置映射关系，没有配置的默认属性默认都是相同。

# 如果只需要同步部分源表的属性到目标表中，这里应该设置false

# targetColumns: #字段映射,格式:目标表字段: 源表字段, 如果字段名一样源表字段名可不填

#id: id

#abbr_name_01: abbr_name

#full_name_01: full_name

#contact_person_01: contact_person

# etlCondition: "where c_time>={}" #简单的过滤

# commitBatch: 3000 #批量提交的大小

# Mirror schema synchronize config #schema

dataSourceKey: defaultDS

destination: canal_1221

groupId: g1

outerAdapterKey: mysql1

concurrent: true

dbMapping:

mirrorDb: true #镜像复制，DDL,DML

database: text #即两库的schema要一模一样

3、启动canal-adapter

cd /u01/canal-adapter/bin

sh startup.sh

秒变学霸的18岁码农

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
CANAL同步RDB实验（1）

canal是Alibaba旗下的一款开源项目纯Java开发它是基于数据库增量日志解析提供增量数据订阅消费目前主要支持mysql。应用场景canal的数据同步不是全量的，而是增量。基于binary log增量订阅和消费，canal可以做：数据库镜像数据库实时备份索引构建和实时维护业务cache(缓存刷新具体业务场景数据同步，比如：做在线、离线数据库之间的数据同步操作；数据消费，比如：需要根据关注的数据库表的变化，做搜索增量；
复制链接

扫一扫