springboot整合canal实现与mysql数据实时同步

以下有关linux操作都是基于docker容器的

一、Canal介绍

1、介绍

canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL。

2、Canal环境搭建

canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能
（1）检查binlog功能是否有开启

mysql> show variables like ‘log_bin’;
±--------------±------+
| Variable_name | Value |
±--------------±------+
| log_bin | OFF |
±--------------±------+
1 row in set (0.00 sec)

（2）如果显示状态为OFF表示该功能未开启，开启binlog功能（mysql:5.7可能没有my.cnf文件，mysql:8.0有，没有的话自己新建，其他版本没试过）

1，修改 mysql 的配置文件 my.cnf
vi /etc/mysql/my.cnf
追加内容：
log-bin=mysql-bin #binlog文件名
binlog_format=ROW #选择row模式
server_id=1 #mysql实例id,不能和canal的slaveId重复
2，重启 mysql：
docker restart xxx
3，登录 mysql 客户端，查看 log_bin 变量
mysql> show variables like ‘log_bin’;
±--------------±------+
| Variable_name | Value |
±--------------±------+
| log_bin | ON|
±--------------±------+
1 row in set (0.00 sec)
————————————————
如果显示状态为ON表示该功能已开启

（3）在本地的mysql里面添加以下的相关用户和权限

CREATE USER ‘canal’@’%’ IDENTIFIED BY ‘canal’;
GRANT SHOW VIEW, SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘canal’@’%’;
FLUSH PRIVILEGES;

3、下载安装Canal服务

（1）拉取镜像，不加版本号，默认为latest

docker pull canal/canal-server

（2）查看镜像是否拉去成功

docker images

（3）拉取成功后启动canal，从里面copy出配置文件

#启动镜像 
docker run --name canal -d canal/canal-server

#进入容器 查看配置文件路径
docker exec -it canal bash

#找到文件位置后 exit退出容器 将容器内部文件copy到外部
docker cp canal:/home/admin/canal-server/conf/canal.properties /home/canal/canal.properties
docker cp canal:/home/admin/canal-server/conf/example/instance.properties /home/canal/instance.properties

（4）文件cv后，修改instance.properties文件（address写的是服务器的ip）

第一个红框改成你要监听数据库的地址和端口；第二个红框是你数据库的用户和密码，这个用户信息一定是要有全部权限的用户，非root用户，我在上面创建了canal用户；第三个是匹配数据表的规则，这里默认为全部表

（4）修改保存后，删除容器重新启动，挂载数据卷就可以避免每次启动又要配置参数了

#关闭容器
docker stop canal

#移除容器
docker rm canal

#启动容器，-v为挂载数据卷
 docker run --name canal -p 11111:11111 -d -v /home/xyouzi/canal/instance.properties:/home/admin/canal-server/conf/example/instance.properties -v /home/xyouzi/canal/canal.properties:/home/admin/canal-server/conf/canal.properties canal

二、创建canal_client模块（springboot整合使用）

引入相关依赖

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <!--mysql-->
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
    </dependency>

    <dependency>
        <groupId>commons-dbutils</groupId>
        <artifactId>commons-dbutils</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-jdbc</artifactId>
    </dependency>

    <dependency>
        <groupId>com.alibaba.otter</groupId>
        <artifactId>canal.client</artifactId>
    </dependency>
</dependencies>

创建application.properties配置文件

# 服务端口
server.port=10000
# 服务名
spring.application.name=canal-client

# 环境设置：dev、test、prod
spring.profiles.active=dev

# mysql数据库连接
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/guli?serverTimezone=GMT%2B8
spring.datasource.username=root
spring.datasource.password=root

编写canal客户端类

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry.*