canal mysql 集群,Canal Admin 搭建 Canal 集群以及体验

最新推荐文章于 2023-09-05 15:04:09 发布
最新推荐文章于 2023-09-05 15:04:09 发布
阅读量1k 收藏
点赞数
文章标签： canal mysql 集群

Canal 是阿里巴巴开源的一套分布式数据库同步系统，目前主要支持 MySQL、RDS。Canal 的主要原理是伪装成 MySQL 的 Slave 节点，监听 MySQL 主库的 binlog 文件，根据 binglog 将数据库事件发送到 MQ 中，消费端可以订阅 MQ 中的消息。为了方便 Canal 的运维人员，阿里还提供了 Canal Admin 这个运维平台，使用户可以快速和安全的操作。

准备环境

Canal Admin 的使用需要依赖 MySQL、Canal 、Zookeeper 这三个服务，在使用 Canal Admin 之前我已经体验过单机节点的搭建，这里列一下三个服务使用的版本：

MySQL 5.6

Canal 1.1.4

Zookeeper 3.4.10

为了更加方便的了解 Canal Admin 的作用，下面根据理解画了一下整体的架构图，根据架构图可以帮助我们理解整个系统运行的逻辑，出现问题也更加方便排查。

8087ace521b0710185663a8633dcfc50.png

部署 Canal Admin

Canal Admin 是跟随着 Canal 一起发布的，可以去 Canal 的 Release 模块下面下载对应版本的 Canal Admin，我这里下载的是”canal.admin-1.1.4.tar.gz“。

配置 application.xml

当压缩包下来之后进行加压缩，比较重要的配置 conf 目录下面的 application.yml 文件，里面涉及到 Canal Admin 的数据库连接配置以及管理员信息。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23server:

port: 8089

spring:

jackson:

date-format: yyyy-MM-dd HH:mm:ss

time-zone: GMT+8

spring.datasource:

address: 127.0.0.1:3306

database: canal_manager

username: root

password: root

driver-class-name: com.mysql.jdbc.Driver

url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false

hikari:

maximum-pool-size: 30

minimum-idle: 1

canal:

adminUser: admin

adminPasswd: 123456

初始化 MySQL

因为 Canal Admin 是一个管理系统，需要使用数据库存放配置信息，只用在 MySQL 中执行 Canal Admin 提供的数据库初始化文件即可，该文件在“conf/canal_manager.sql”路径下面。

新建集群

上面的 Canal Admin 配置好了之后直接根据“/bin/startup.sh”启动 Canal Admin 即可，在浏览器上面输入”ip:8089”即可进入到管理页面，如果使用的默认的配置信息，用户名入”admin”，密码输入”123456”即可访问首页。

进入到首页点击集群的菜单栏，然后选择新建集群。

a6ec84aa47bdddf7787a3f4e4049c809.png

在里面输入集群的名称以及 Zookeeper 即可，这里的集群目前还没有任务节点，后续通过配置 Canal Server 的自动注册功能，便可以查看该集群下面拥有的节点。

启动 Canal Server

因为这里使用 Canal Admin 部署集群，所以 Canal Server 节点只需要关注 manager 相关的信息即可，具体的任务信息后续都通过 Canal Admin 下发，这一点与单机部署区别很大。

在 Canal 的配置目录下，有两个 canal 前缀的配置项，其中一个文件名是”canal_local.properties”，这是 Canal Admin 官网介绍的集群部署需要修改的配置文件，里面的配置信息相比”canal.properties”要少很多，多余的信息在集群模式下都由 Canal Admin 管理。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22# register ip

canal.register.ip = 10.37.129.3

# canal admin config

canal.admin.manager = 10.37.129.3:8089

canal.admin.port = 11110

canal.admin.user = admin

canal.admin.passwd = 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9

# admin auto register

canal.admin.register.auto = true

canal.admin.register.cluster = xxx_cluster

上面配置信息中有几个地方要注意一下，这里简短介绍一下。第一个是”canal.register.ip”，这个配置用来指定当前 Canal Server 的 IP 信息，如果主机是多网卡，可以避免 IP 信息错乱的问题。第二个是”canal.admin.passwd”，这里的密码就是之前配置 Canal Admin 里面配置的管理员密码，只不过这里并不是明文展示，使用 MySQL 的”select password(“123456”)”语句查询处理过的密码，注意查询结果前面的”*”要去掉。第三个是”canal.admin.register.auto”，这里是自动注册的意思，如果没有配置，Canal Server 启动后需要自行在 Canal Admin 上面添加。第四个是”canal.admin.register.cluster”，这个配置如果不写代表当前的 Canal Server 是一个单机节点，如果添加的名字在 Canal Admin 上面没有提前注册，Canal Server 启动时会报错。

如果你的集群需要部署多个 Canal Server，将上面的配置复制到另外几台机器上面，主要别忘记修改 IP 信息，配置好所有的节点之后启动即可，这些节点会自动注册到 Canal Admin。

配置 Canal Server

通过上面的操作之后所有的 Canal Server 便可以在 Canal Admin 上面看到，接着可以通过 UI 界面配置 Canal Server。

103b1aec6c56e0e1a819998d4e652cac.png

从上面的截图可以看到两个节点都归属于同一个集群，如果我们点击单个节点编辑配置，Admin 会提示我们集群模式下不允许修改单个节点的配置，需要在集群下面修改配置。

11069bea4196b38164d8b8fd490987d2.png

下面通过集群管理页面修改 Canal Server 的配置，主要是添加 Canal Server 需要对接的 MQ。一开始进入的时候是空白的，我们可以选择载入模板，然后根据模板修改自己关注的配置。为了对接 MQ，需要在配置中指定”canal.serverMode”，我这里配置的是“RocketMQ”，另外一个配置就是 MQ 的连接信息“canal.mq.servers”。

指定消息队列为 RocketMQ。

1b69981361b70f626a6f7132f1d94a6e.png

配置 RocketMQ 的连接信息。

220c8fc2bdb0290a580deafce39d04da.png

创建 Canal Instance

Canal Admin 提供了 Canal Instance 的管理功能，我们可以通过 UI 界面添加需要监听的数据库，让该 Instance 消费 binlog 并将事件发送到 MQ。

点击“新建 Instance”按钮创建 Instance。

7c92f27fac720d4fd7e9622c7f2518fb.png

修改”canal.instance.mysql.slaveId”和”canal.instance.master.address”。

11d4e03d4508087dab37d7ed8915ee2c.png

查看 Instance 日志，判断 Instance 是否配置正确。

12020-01-10 14:46:50.800 [destination = parallels_mysql5.6 , address = /10.37.129.3:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mysql-bin.000007,position=104805,serverId=1,gtid=,timestamp=1578638732000] cost : 7ms , the next step is binlog dump

测试 MySQL 事物

创建好了 Canal Instance 之后，就可以通过消费者消费 MQ 里面的数据库事件了。对于普通的操作例如新增、修改、删除等操作都是没有问题，下面可以来测试一下事物比较特殊的场景。其实只需要验证未提交的事物是否会产生 binlog 即可推测出结果。

关闭自动提交

为了测试事物，可以将当前会话的自动提交关闭。

1set @global.autocommit=0;

查询当前自动提交是否关闭。

1set @@session.autocommit=0;

开始测试事物

当我们关闭自动提交之后就要定位 binlog 当前最后的位置，这样后续写入数据时但是没有提交时可以判定 binlog 是否有写入。

查找最后一个 binlog 的文件名。

1show binary logs;

查看最后一个 binlog 最后的位置。

1show binlog events in 'mysql-bin.000007';

我这里查找到的结果是 106667。

9642a59b17ef6fb4e88f16633936da69.png

执行数据库插入语句。

1INSERT INTO `test`.`tb_user`(`username`, `password`, `age`, `nickname`) VALUES ('testtttttttt', 'tttttttttt', 3, 'ttttttttttt');

再次查看 binlog 最后的位置。

da3088902df1bdba1b4ad6388aa51a6e.png

可以看到位置没有发生变化，我的消费端也没有收到数据添加的消息，最后将该次事物提交，然后查看下最后的位置。

7d778f1c965437c595e619914e044fd9.png

可以看到 binlog 的位置发生了变化，证明只有事物提交之后才能 binlog 才会写入，我的消费端也接收到了数据库变化的消息。

1aa92c49236858d938fdca3c682ee3a5.png

黑脸V
关注
数据库系列——使用Canal Admin实现MySQL增量数据同步运维管理(1)
2401_83946826的博客
04-16 575
本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论。Canal Admin是为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。最全的Linux教程，Linux从入门到精通。
canal配置mysql mgr集群_MySQL MGR 集群搭建（单主模式）
weixin_33188789的博客
01-21 331
1.背景MySQL Group Replication(MGR)是MySQL官方在5.7.17版本引进的一个数据库高可用与高扩展的解决方案，以插件形式提供，实现了分布式下数据的最终一致性，总结MGR特点如下：* 高一致性：基于分布式paxos协议实现组复制，保证数据一致性；* 高容错性：自动检测机制，只要不是大多数节点都宕机就可以继续工作，内置防脑裂保护机制；* 高扩展性：节点的增加与移除会自动更...
单机 搭建kafka集群 本地_Canalv1.1.4版本搭建HA集群
weixin_36388341的博客
12-25 107
前提Canal上一个正式版是于2019-9-2发布的v1.1.4，笔者几个月前把这个版本的Canal推上了生产环境，部署了HA集群。过程中虽然遇到不少的坑，但是在不出问题的前提下，Canal的作用还是非常明显的。上周的一次改造上线之后，去掉了原来对业务系统订单数据通过RabbitMQ实时推送的依赖，下游的统计服务完全通过上游业务主库的binlog事件进行聚合，从而实现了核心业务和实时统计两个不同的...
canal配置mysql mgr集群_Canal-Admin 集群环境配置及踩坑实录
weixin_35731493的博客
01-21 589
集群配置canal-admin的安装不再累述，可翻看之前文章，本文主要记录canal-admin集群环境的配置和踩坑记录新建集群填写zk的集群信息修改集群配置参数主要参数说明canal持久化数据到zookeeper上的更新频率canal.file.flush.period = 1000memory store RingBuffer size, should be Math.pow(2,n)cana...
Kafka + Canal + MySQL 集群部署
qq_48391148的博客
04-04 3000
canal产生的背景：早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。canal 翻译为水道，管道，沟渠，是由java语言开发的，它的定位就是基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持mysql/mariadb。
（1）Canal在linux上搭建集群
wzk153的博客
12-14 381
官网https://github.com/alibaba/canal介绍，canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。从上述介绍我们可以简单认为Canal就是一个简单的增量数据同步工具。
Canal实时同步MySQL数据至Kafka集群，安装部署
学而知之@的博客
06-08 1294
一、前言： 本集群基于Canal-Admin实现，并包括Canal-Admin部署流程。Canal-Admin由阿里官方提供，为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。 ...
canal.admin-1.1.6.zip
08-31
1. **集群管理**：用户可以通过Canal Admin创建、删除和管理多个Canal实例，实现Canal集群的可视化配置，使得多数据库的同步更加便捷。 2. **实例配置**：支持在线修改Canal实例的配置，如数据源连接信息、过滤规则...
windows环境搭建canal集群同步binlog到Kafka
trntaken的博客
05-01 2445
一、canal 高可用集群架构原理 介绍： canal 模拟mysql slave原理，将自己伪装为slave，同步mysql master binlog。 1.Admin负责管理canal 集群配置信息，动态管理所有canal Server 配置信息；管理canal server 上的instance 队列； 2.Canal Server 创建Instance实例，同步mysql binlog 队列； 3.instacne ...
canal.admin-1.1.4.rar
10-19
在“canal.admin-1.1.4.rar”这个压缩包中，我们可以预见到包含Canal的管理工具版本1.1.4。这个版本可能提供了更加完善的管理界面和API，便于用户监控Canal实例的状态，管理订阅配置，以及进行日志查看和故障排查。 ...
canal集群高可用模式实战，canal1.1.6实现mysql8.0数据增量/全量同步到elasticsearch7，保姆级教程
最新发布
qq_45132989的博客
09-05 5882
主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。canal的工作原理：1.canal模拟mysql sllave的交互协议，伪装自己为mysql salve；2.mysql master收到dump请求，开始推送binary log给 slave（也就是canal）；3.canal解析binary log 对象（原始byte流），再发送到存储目的地，比如MySQL，Kafka，Elastic Search等等。canal的数据同步可以增量/全量。
Canal高可用架构部署
zlt2000的博客
03-22 1652
一、前言 canal 是阿里的一款开源项目，纯 Java 开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了 MySQL(也支持 mariaDB)。 canal 模拟 mysql slave 的交互协议，伪装自己为 mysql slave，向 mysql master发送 dump 协议； mysql master 收到 dump 请求，开始推送binary log给 slave(也就是canal) canal 解析 binary log对象(原始为byte流)。 &nbs.
使用Canal + ClickHouse实时分析MySQL事务信息
FaN()
12-31 2102
使用Canal + ClickHouse实时分析MySQL事务信息 作为DBA, 有时候我们会希望能够了解线上核心库更具体的"样貌", 如: 这个库主要的DML类型是什么? 这个库的事务大小, 执行时间, 影响行数大概是什么样的? 以上信息也许没什么价值, 但大事务对复制的影响不用多说, 并且当我们希望升级当前主从架构到MGR/PXC等高可用方案的场景时以上信息就比较重要了(毕竟用数据说话更有力度). 大事务对MGR和PXC都是不友好的, 尤其是MGR(起码在5.7版本)严重时会导致整个集群hang死
【Mysql】—— 利用Canal进行数据库备份或者缓存等场景安装、配置的最佳实践
封宸落宇的专栏
03-03 6184
本文主要描述Alibaba Canal中间件，官方文档请参考：    1）gitlab：https://github.com/alibaba/canal    2）主要原理介绍：https://github.com/alibaba/canal/wiki/canal%E4%BB%8B%E7%BB%8D    2）运维操作文档：https://github.com/alibaba/canal/wiki...
canal 同步mysql的数据到 clickhouse
weixin_43564627的博客
04-24 2032
mysql数据迁移 基于库同步 CREATE DATABASE saic_iov_user ON CLUSTER default ENGINE = MySQL('10.188.49.10:3306', 'saic_iov_user','iov_user', 'ENC(Mzg2MTE4ODgAYO6BQozrsqT8Gc+MwKN3)'); CREATE DATABASE saic_iov_merge ON CLUSTER default ENGINE = MySQL('10.188.49.10:33
CanalAdmin搭建Canal Server集群
huan的学习记录
06-05 5642
一、背景 使用CanalAdmin来搭建一个canal集群。 二、机器情况 服务名 机器ip 备注 canal admin 127.0.0.1:8089 canal admin 机器 canal server 1 127.0.0.1:11111 本地canal server机器 canal server 2 127.0.0.1:11113 本地canal server机器 zk 127.0.0.1:2181,127.0.0.1:3181,127.0.0.1:4181 本地zk集群
十、RabbitMQ 集群
wang_luwei的博客
03-19 463
文章目录RabbitMQ 集群1、clustering1.1. 使用集群的原因1.2. 搭建步骤2、镜像队列2.1. 使用镜像的原因2.2. 搭建步骤3、Haproxy+Keepalive 实现高可用负载均衡3.1. 整体架构图3.2. Haproxy 实现负载均衡3.3. 搭建步骤3.4. Keepalived 实现双机(主备)热备3.5. 搭建步骤4、Federation Exchange4.1. 使用它的原因4.2. 搭建步骤5、Federation Queue5.1. 使用它的原因5.2. 搭建步骤
mysql 集群 运维_【MySQL运维】Canal集群模式与多数据库同步部署
weixin_27330481的博客
01-27 454
一、Canal工作原理Canal基于数据库的增量日志进行解析，然后提供增量数据的订阅和消费。Canal会将自己伪装成MySQL的 Slave去向主库进行同步请求，然后将获取到的binlog解析成特定格式，最终推送给Kafka供后端服务进行消费二、Canal集群部署前的准备工作1、安装Zookeeper与Kafka集群之所以要安装Kafka是因为Canal 1.1开始支持将接受到的binlog传递给...
canal-admin的部署与使用，及相关监控
未知的希望，是我不灭的信仰
05-28 9542
canal-admin的相关
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值