canal本地搭建以及运行

具体的文档可参考官网文档：https://github.com/alibaba/canal/wiki

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

工作原理

• canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议
• MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
• canal 解析 binary log 对象(原始为 byte 流)

环境准备：

1. 操作系统

    a.  纯java开发，windows/linux均可支持

    b.  jdk建议使用1.6.25以上的版本，稳定可靠

2. mysql要求

   a. 当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)，ps. mysql4.x版本没有经过严格测试，理论上是可以兼容

   b. canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能，并且配置binlog模式为row.

我们可以找到数据库配置文件my.cnf或者 my.ini文件，开启binlog写入功能，在Linux电脑下没有找到配置文件，可在/etc/my.cnf 在新增一个配置，mysql服务器会去扫描此文件。

在my.cnf文件下配置如下信息：

[mysqld]  
#开启binlog日志
log-bin=mysql-bin  
#选择row模式   
binlog-format=ROW 
#配置mysql replaction需要定义，不能和canal的slaveId重复
server_id=1  

配置好后进行服务重启进行生效，可以通过如下命令进行验证是否开启成功

show VARIABLES like 'log_bin';

显示‘ON’，表示开启成功

 c.  canal的原理是模拟自己为mysql slave，所以这里一定需要做为mysql slave的相关权限

#创建canal用户 密码canal
CREATE USER canal IDENTIFIED BY 'canal';    
# 对canal用户赋予权限
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';  
FLUSH PRIVILEGES; 
#进行验证，显示canal用户相关的权限
show GRANTS for canal;

 
 

开始搭建

从GitHub上下载源码到本地，可在tags中选择1.1.7版本

modules中deployer就是canal的服务端，结构如下：

修改example实例配置信息，配置成上述设置的canal用户：

#自己本地实例库信息
canal.instance.master.address=127.0.0.1:3308
#对应的自己的用户名和密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

进行启动：

window对应：bin/startup.bat.   linux对应：bin/startup.sh

在本地dubug启动的时候，可以直接运行CanalLauncher（启动类）

查看server日志：

logs/canal/canal.log

查看instance实例：

logs/example/example.log

如上服务端已启动成功，开始监听binlog日志

客户端验证：

我们刚开始通过最简单的tcp模式进行订阅变更，

可通过启动类运行也可运行命令，进行订阅数据变更，启动后，可以自行修改配置的instance中的数据，监听日志会进行打印

admin管理台搭建

modules中admin就是canal的管理台服务，结构如下：

对于本地跑服务，如idea启动的话，会报enhance相关异常，安装Ebean enhancement相关插件即可

数据准备：

1. 将resource下canal_manager.sql里面的sql文件在自己数据库中运行，初始化相关表信息。

2. 修改相关行xml中的配置

server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  #自己数据库地址
  address: 127.0.0.1:3308
  database: canal_manager
  username: root
  password: 123456
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: 123456

启动后访问 http://localhost:8089 初始用户名/密码：admin/123456

至此单机模式的canal服务端以及客户端验证已本地搭建完成，后续进行集群模式，和订阅推送的其他几种模式