单节点canal的介绍和搭建（对接mysql和rocketMQ）

VIP文章汀风

已于 2022-02-21 10:27:10 修改

阅读量1.9k

点赞数 1

分类专栏：中间间文章标签：阿里云 mysql java

于 2021-12-03 15:20:04 首次发布

本文链接：https://blog.csdn.net/qq_40439628/article/details/121697148

版权

单节点canal-server+canal-admin的介绍和搭建（对接mysql和rocketMQ）

一、简介
- 1、Canal
二、使用
- 2.1 安装

一、简介

通过数据源的事务日志抓取数据源变更，这能解决一致性问题（只要下游能保证变更应用到新库上）。它的问题在于各种数据源的变更抓取没有统一的协议，如，MySQL用binlog,MongoDB用oplog。

1、Canal

纯java开发，蛀牙用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费，目前canal只能支持row模式的增量订阅（statement只有sql，没有数据，所以无法获取原始的变更日志）

1、工作原理

在这里插入图片描述

1、canal模拟MySQL salve的交互协议，伪装自己为MySQL salve,向MySQL master发送dump协议

2、MySQL master收到dump请求，开始推送binary log给salve(即canal)

3、canal解析binary log对象（原始为byte流）

2、MySQL主从复制实现

在这里插入图片描述

从上图可知，复制可分为三步：

master将改变记录到二进制日志（binary log）中（这些记录叫二进制日志时间，binary log events,可以通过show binlog events进行查看）；
salve将master的binary log events拷贝到它的中继日志（relay log）;
salve重做中继日志的时间，将改变反映它自己的数据；

3、canal架构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

在这里插入图片描述

通过deployer模块，启动一个canal-server,一个canal-server内部包含多个instance，每个instance都会伪装成一个Mysql实例的salve.client与server之间的通信协议有protocol模块定义。client订阅binlog信息时，需要传递一个destination参数，server会根据这个destination确定由那一个instance尾气提供服务。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
在这里插入图片描述

说明：

server代表一个canal运行实例，对应一个jvm
instance对应一个数据队列（1个server对应1…n个instance）

instance模块：

eventParser(数据接入，模拟salve协议和master进行交互，协议解析)
eventSink(Parser和Store链接器，进行数据过滤，加工和分发的工作)
eventStore(数据存储，目前只存在内存里)
metaManager(增量订阅&消费信息管理器)

canal假装成MySQL Salve步骤：

与MySQL Mater服务器建立Socket链接；
根据MySQL协议规范发送身份认证数据包进行身份认证；
根据MySQL协议规范发送salve注册数据包将自己伪装成MySQL Salve;
根据MySQL协议规范发送Dump请求，让Master给自己推送Binglog日志；

4、binarylog

一个binlog包含一个四字节的模数和一系列描述数据变更的Event,没一个Event又包含header和data两部分，大致结构如下：

在这里插入图片描述

基于Row的binlog主要包括以下几个Event：

TABLE_MAP_EVENT：描述变更的数据库表

WRITE_ROWS_EVENT：描述插入数据变更

UPDATE_ROWS_EVENT：描述修改数据变更

DELETE_ROWS_EVENT：描述删除数据变更

1、新增binlog

{"data":[{"BRAND_ID":"39103535-2d93-425b-a85e-c9709abf4c15","BRAND_NAME":"体验配方","BRAND_CODE":"5464365","BRAND_FLAG":"0","STATE":"0","CREATE_DATE":"2021-12-03","REMARK":"！","TS":"2021-12-03 12:04:13","CORP_ID":"50c43444-004c-44b9-a2d3-25c91a8b04c3"}],"database":"visdb_20210729","es":1638504356000,"id":43,"isDdl":false,"mysqlType":{"BRAND_ID":"varchar(36)","BRAND_NAME":"varchar(36)","BRAND_CODE":"varchar(36)","BRAND_FLAG":"int(2)","STATE":"int(2)","CREATE_DATE":"char(10)","REMARK":"varchar(200)","TS":"char(19)","CORP_ID":"varchar(36)"},"old":null,"pkNames":["BRAND_ID"],"sql":"","sqlType":{"BRAND_ID":12,"BRAND_NAME":12,"BRAND_CODE":12,"BRAND_FLAG":4,"STATE":4,"CREATE_DATE":1,"REMARK":12,"TS":1,"CORP_ID":12},"table":"bdp_brand","ts":1638504272407,"type":"INSERT"}

2、更新binglog

{"data":[{"BRAND_ID":"39103535-2d93-425b-a85e-c9709abf4c15","BRAND_NAME":"体验配方","BRAND_CODE":"5464365","BRAND_FLAG":"0","STATE":"0","CREATE_DATE":"2021-12-03","REMARK":"！！","TS":"2021-12-03 12:06:25","CORP_ID":"50c43444-004c-44b9-a2d3-25c91a8b04c3"}],"database":"visdb_20210729","es":1638504488000,"id":44,"isDdl":false,"mysqlType":{"BRAND_ID":"varchar(36)","BRAND_NAME":"varchar(36)","BRAND_CODE":"varchar(36)","BRAND_FLAG":"int(2)","STATE