alibaba canal的安装配置及简单使用

canal的简介和适用场景可参考官方文档：
github alibaba canal

依赖环境

JDK1.8、mysql8.0.23

本文使用单机方式本地安装canal，如果需要安装canal集群，需要先装好zookeeper。

下载安装包

由于从国内下载github release速度极慢，可以在canal release页面复制安装包地址去下面的地址下载：https://d.serctl.com/

分别下载下面3个安装包:

下载完成后使用tar -zxvf canal-xx.tar.gz命令解压备用。

canal-server

canal的工作原理是将自己伪装成mysql的slave节点，来订阅mysql binlog的变更，所以在配置启动canal前，需要先配置mysql。

配置mysql

• 开启binlog
  本文MySQL安装在MacOS，编辑配置文件vim /usr/local/etc/my.cnf，写入以下内容后，重启MySQL。

log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

• 授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant。

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

配置canal.properties

进入canal-deployer目录,vim conf/canal.properties，修改如下配置

canal.register.ip = 127.0.0.1
canal.admin.user = admin
canal.admin.passwd = 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9

配置example.properties

进入canal-deployer目录,vim conf/example/instance.properties，修改如下配置

canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8

启动

执行sh ./bin/startup.sh启动canal

查看canal.log，cat logs/canal/canal.log

查看example.log，cat logs/example/example.log

打印以上日志，即启动成功。

canal-admin

canal-admin提供了WebUI操作界面用来配置管理集群、节点、实例，下面直接来配置。

初始化数据库

将canal-admin数据库脚本导入本地数据库，脚本目录:conf/canal_manager.sql

配置application.yml

修改数据库配置为自己的数据库配置

vim conf/application.yml

server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  address: 127.0.0.1:3306
  database: canal_manager
  username: canal
  password: canal
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: 123456

启动

执行sh bin/startup.sh来启动canal-admin。

查看日志：cat logs/admin.log，显示如下内容，即启动成功。

webui

浏览器访问：http://localhost:8089/ 用户名/密码：admin/123456

• 新建Server
  

新建成功后就可以直接在页面操作canal-server的启动和停止了。

查看canal-server日志可以看到停止和启动的日志。

• 新建Instance
  

canal-adapter

canal适配器可以将数据库变更同步给MQ、ES、DB、LOGGER，需要我们根据实际业务需要去修改配置文件conf/application.yml。本地测试可以使用LOGGER方式，由于LOGGER是默认配置好的，所以直接启动就行了。

启动

执行sh bin/startup.sh启动canal-adapter。

测试

在数据库中创建一张user表，并插入一条记录。

查看日志cat logs/adapter/adapter.log,可以看到日志中输出了表结构变更和数据变更的日志。

至此，canal已安装完毕。

遇到的问题

• 数据库加密方式不一致导致canal实例启动失败。

解决办法：

-- 查看加密方式:
select host, user, authentication_string, plugin from mysql.user;

-- 更新加密方式
ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'canal'; 
FLUSH PRIVILEGES;