canal安装最详细教程

目录

一、简介

二、工作原理

三、实战

1、安装

1.下载

2.解压

2、mysql的binLog配置

1、介绍

2、开启binlog

3、配置canal

4、启动canal

5、kafka测试

技术交流

---

一、简介

 

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

• 数据库镜像
• 数据库实时备份
• 索引构建和实时维护(拆分异构索引、倒排索引等)
• 业务 cache 刷新
• 带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

---

二、工作原理

MySQL主备复制原理

• MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
• MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
• MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

• canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
• MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
• canal 解析 binary log 对象(原始为 byte 流)

---

三、实战

1、安装

1.下载

https://github.com/alibaba/canal/releases

2.解压： 

---

2、mysql的binLog配置

1、介绍

MySQL的二进制日志可以说是MySQL最重要的日志了，它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。

    一般来说开启二进制日志大概会有1%的性能损耗。二进制有两个最重要的使用场景:

    其一：MySQL Replication在Master端开启binlog，Mster把它的二进制日志传递给slaves来达到master-slave数据一致的目的。

    其二：自然就是数据恢复了，通过使用mysqlbinlog工具来使恢复数据。

二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的DDL和DML(除了数据查询语句)语句事件。

2、开启binlog

在mysql的配置文件(Linux: /etc/my.cnf ,  Windows: \my.ini)下,修改配置

sudo vim /etc/my.cnf

在[mysqld] 区块！！！在[mysqld] 区块！！！在[mysqld] 区块！！！，重要的事情说三遍

设置/添加

server-id=1
log-bin=mysql-bin
binlog_format=row
binlog-do-db=你的数据库名字，多个用逗号分割

这个表示binlog日志的前缀是mysql-bin  ，以后生成的日志文件就是 mysql-bin.123456 的文件后面的数字按顺序生成。 每次mysql重启或者到达单个文件大小的阈值时，新生一个文件，按顺序编号。

mysql binlog的格式，那就是有三种，分别是STATEMENT,MIXED,ROW。

区别：

1） statement

        语句级，binlog会记录每次一执行写操作的语句。 相对row模式节省空间，但是可能产生不一致性，比如

update  tt set create_date=now()

        如果用binlog日志进行恢复，由于执行时间不同可能产生的数据就不同。

        优点： 节省空间

        缺点： 有可能造成数据不一致。

2）  row

        行级， binlog会记录每次操作后每行记录的变化。

        优点：保持数据的绝对一致性。因为不管sql是什么，引用了什么函数，他只记录执行后的效果。

        缺点：占用较大空间。

3）  mixed

        statement的升级版，一定程度上解决了，因为一些情况而造成的statement模式不一致问题

        在某些情况下譬如：

            当函数中包含 UUID() 时；

            包含 AUTO_INCREMENT 字段的表被更新时；

            执行 INSERT DELAYED 语句时；

            用 UDF 时；

        会按照 ROW的方式进行处理

        优点：节省空间，同时兼顾了一定的一致性。

        缺点：还有些极个别情况依旧会造成不一致，另外statement和mixed对于需要对binlog的监控的情况都不方便。

通过mysql客户端添加canal角色和权限

sudo mysql -uroot -p你的密码

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;

如果报错：

SHOW VARIABLES LIKE 'validate_password%';

set global validate_password_length=4;
set global validate_password_policy=0;

• 密码的长度是由validate_password_length决定的,但是可以通过以下命令修改
• validate_password_policy决定密码的验证策略,默认等级为MEDIUM(中等),可通过以下命令修改为LOW(低)

修改后执行成功

mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;
Query OK, 0 rows affected, 1 warning (0.00 sec)

重启mysql

sudo systemctl restart mysqld

确定mysqlbinLog已经开启

sudo cd /var/lib/mysql

 

到了此步骤，一切准工作完成

---

3、配置canal

1、总体配置

2、配置要追踪的mysql服务器

 vim conf/example/instance.properties

instance.properties是针对要追踪的mysql的实例配置

---

4、启动canal

 ./bin/startup.sh 

jps

出现 4962 CanalLauncher

5、kafka测试

./bin/kafka-console-consumer.sh --bootstrap-server  你的kafka集群地址 --topic  canal中配置的kafkatopic

---

技术交流