SpringBoot利用cancl监听mysql的binlog日志通过kafja实时同步数据到es

canal官网：https://github.com/alibaba/canal/wiki

gitlab：https://github.com/alibaba/canal/wiki/QuickStart

下载地址：https://github.com/alibaba/canal/releases

阿里巴巴开源的 Canal 会将自己伪装成 MySQL 从节点（Slave），并从主节点（Master）获取 Binlog，解析和贮存后供下游消费端使用。Canal 包含两个组成部分：服务端和客户端。服务端负责连接至不同的 MySQL 实例，并为每个实例维护一个事件消息队列；客户端则可以订阅这些队列中的数据变更事件，处理并存储到数据仓库中。

组成：

Canal 会将自己伪装成 MySQL 从节点（Slave），并从主节点（Master）获取 Binlog，解析和贮存后供下游消费端使用。Canal 包含两个组成部分：服务端和客户端。服务端负责连接至不同的 MySQL 实例，并为每个实例维护一个事件消息队列；客户端则可以订阅这些队列中的数据变更事件，处理并存储到数据仓库中。下面我们来看如何快速搭建起一个 Canal 服务。

1.mysql配置

•     开启mysql的binlog模块

切换到mysql的安装路径，找到my.cnf(Linux)/my.ini (windows)，加入如下内容：（）

[mysqld]
log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

• 配置mysql数据库

Canal 会将自己伪装成 MySQL 从节点（Slave），并从主节点（Master）获取 Binlog，解析和贮存后供下游消费端使用。Canal 包含两个组成部分：服务端和客户端。服务端负责连接至不同的 MySQL 实例，并为每个实例维护一个事件消息队列；客户端则可以订阅这些队列中的数据变更事件，处理并存储到数据仓库中。创建canal用户，用来管理canal的访问权限。我们可以通过对canal用户访问权限的控制，进而控制canal能够获取的内容。

CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON 数据库名.表名 TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON 数据库名.表名 TO 'canal'@'%' ; 
-- 刷新权限，上命令执行不了也刷新下
FLUSH PRIVILEGES; 

Mysql是否开启binlog日志&开启方法

运行sql   show variables like 'log_bin';

如果Value 为 OFF 则为开启日志文件

如何开启mysql日志？

找到my,cnf 中 [mysqld]  添加如下

[mysqld]

# binlog 配置

log-bin = /usr/local/var/mysql/logs/mysql-bin.log

expire-logs-days = 14

max-binlog-size = 500M

server-id = 1

如果没有my.cnf  或者是集成的环境 找到my.ini 中 [mysqld]  添加如下

[mysqld]

# binlog 配置

log-bin = /usr/local/var/mysql/logs/mysql-bin.log

expire-logs-days = 14

max-binlog-size = 500M

server-id = 1

重启mysql后    show variables like 'log_bin';  Value 为 ON即可

查询binlog 变动信息   show binlog events;