canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。
canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。
阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。
基于日志增量订阅和消费的业务包括
数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理
一、Canal工作原理
MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据
原理相对比较简单：
- canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
- mysql master收到dump请求，开始推送binary log给slave(也就是canal)
- canal解析binary log对象(原始为byte流)
canal 特别设计了 client-server 模式，交互协议使用 protobuf 3.0
canal-server架构
说明
Canal的Server端本身根据配置启动了很多个Instance对象，所谓的Instance对象就是模拟的数据库slave和master进行连接，换句话说就是假设canal同时成为N个数据库的slave，那么就会有N个Instance实例。
每个Instance内部包含5个组件（图中只包含了4个，估计另外一个没有实现的原因），分别是eventParser、eventSink、eventStore、metaManager、alarmHandler。其中同步的数据流是按照eventParser->eventSink->eventStore进行传输的，当然eventStore是重点因为它存储了所有从mysql同步过来的数据（数据结构很有意思，后面会介绍），metaManager主要是和zookeeper打交道的，用于记录位点的元信息。
canal数据流
说明
Parser负责同步mysql的数据，sink负责进行数据处理并保存到store当中，也就说canal的instance里面的三个组件是按照上图进行数据流传输的。
EventStore设计
说明：
EventStore采用内存环装的设计来保存消息，这里面的提交的Disruptor有兴趣可以去看下，这个东西号称无锁队列，性能杠杠的。
EventStore的3个下标分别是put/get/ack，其中put代表同步写入数据的下标，get代表同步获取的数据的下标，ack代表确认数据的下标，这三者的关系是put>=get>=ack。
canal整体架构
实现流程：
1. mysql 需要开启binlog (master角色)
2. mysql 创建一个账号 用于salve专门使用，授予权限slave的权限 远程授权。
3. 通过docker 安装canal-server
4. 配置canal-server(配置连接到的master的ip和端口 以及自身的账号和密码以及要监听的数据库和表有哪些)
5. 搭建canal-client(java微服务：监听canal-server 获取被修改的数据，然后做业务逻辑：同步数到redis中)
1.先下载参考，再安装起步依赖到本地仓库
2.再添加起步依赖 刷新
3.创建启动类启用canalclient
4.创建监听类 监听canal-server 实现当发生了CRUD的时候执行业务代码
5.配置客户端对应的服务端的地址和端口
二、开启binlog模式
(1) 连接到mysql中,并修改/etc/mysql/mysql.conf.d/mysqld.cnf 需要开启主 从模式，开启binlog模式。
命令行如下：
docker exec -it mysql /bin/bash
cd /etc/mysql/mysql.conf.d
vi mysqld.cnf
修改mysqld.cnf配置文件，添加如下配置：
[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复
(2) 创建账号 用于测试使用,
使用root账号创建用户并授予权限
create user canal@'%' IDENTIFIED by 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
(3)重启mysql容器
docker restart mysql
三、canal安装
docker pull docker.io/canal/canal-server
docker run -p 11111:11111 --name canal -d docker.io/canal/canal-server
进入容器,修改核心配置canal.properties 和instance.properties，canal.properties 是canal自身的配置，instance.properties是需要同步数据的数据库连接配置。
执行代码如下:
docker exec -it canal /bin/bash
cd canal-server/conf/
vi canal.properties
cd example/
vi instance.properties
修改canal.properties的id，不能和mysql的server-id重复，
修改instance.properties,配置数据库连接地址:
这里的canal.instance.filter.regex有多种配置，如下：
https://github.com/alibaba/canal/wiki/AdminGuide
mysql 数据解析关注的表，Perl正则表达式.
多个正则之间以逗号(,)分隔，转义符需要双斜杠(\\)
常见例子：
1. 所有表：.* or .*\\..*
2. canal schema下所有表： canal\\..*
3. canal下的以canal打头的表：canal\\.canal.*
4. canal schema下的一张表：canal.test1
5. 多个规则组合使用：canal\\..*,mysql.test1,mysql.test2 (逗号分隔)
注意：此过滤条件只针对row模式的数据有效(ps. mixed/statement因为不解析sql，所以无法准确提取tableName
进行过滤)
配置完成后，设置开机启动，并记得重启canal。
docker update --restart=always canal
docker restart canal
四、canal微服务搭建
(1)安装辅助jar包
在spring-boot-starter-canal-master中有一个工程starter-canal，它主要提供了SpringBoot环境下canal的支持，我们需要先安装该工程，在starter-canal目录下执行mvn install，
(2)加入依赖
<!--canal依赖-->
<dependency>
<groupId>com.xpand</groupId>
<artifactId>starter-canal</artifactId>
<version>0.0.1-SNAPSHOT</version>
</dependency>
(3）application.yml配置
server:
port: 18083
spring:
application:
name: canal
eureka:
client:
service-url:
defaultZone: http://127.0.0.1:7001/eureka
instance:
prefer-ip-address: true
feign:
hystrix:
enabled: true
ribbon:
eager-load:
enabled: true # 开启饥饿加载
ReadTimeout: 100000 #设置超时时间
#canal配置
canal:
client:
instances:
example:
host: 192.168.211.132
port: 11111
3300
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
