canal现网部署方案

一、概要

canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

canal 工作原理:

1. canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议

2. MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )

3. canal 解析 binary log 对象(原始为 byte 流)

   

二、安装部署

mysql

• 对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下

  [mysqld]
  log-bin=mysql-bin # 开启 binlog
  binlog-format=ROW # 选择 ROW 模式
  server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

  • 注意：针对阿里云 RDS for MySQL , 默认打开了 binlog , 并且账号默认具有 binlog dump 权限 , 不需要任何权限或者 binlog 设置,可以直接跳过这一步

• 授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant

  CREATE USER canal IDENTIFIED BY 'canal';  
  -- GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';（建议）
  GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ; 
  FLUSH PRIVILEGES;

canal-server

• 压缩包下载

wget https://github.com/alibaba/canal/releases/download/canal-1.1.16/canal.deployer-1.1.16.tar.gz

tar xvf canal-1.1.16/canal.deployer-1.1.16.tar.gz -C canal-server

• 修改配置

1、canal.properties（通用配置，主要包括server端绑定的各端口、账户密码、各类同步终端配置）

2、instance.properties

其中example为server名称，若新建server名，需在conf下创建server名称的文件夹，并将example下的instance.properties拷贝入新文件夹下待修改。

vi conf/example/instance.properties

## mysql serverId
canal.instance.mysql.slaveId = 1234
#position info，需要改成自己的数据库信息
canal.instance.master.address = 127.0.0.1:3306 
canal.instance.master.journal.name = 
canal.instance.master.position = 
canal.instance.master.timestamp = 
#canal.instance.standby.address = 
#canal.instance.standby.journal.name =
#canal.instance.standby.position = 
#canal.instance.standby.timestamp = 
#username/password，需要改成自己的数据库信息
canal.instance.dbUsername = canal  
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
#table regex
canal.instance.filter.regex = .\*\\\\..\*
# table meta tsdb info （开启ddl同步）
canal.instance.tsdb.enable=true
canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb #ddl同步配置表
canal.instance.tsdb.dbUsername=canal
canal.instance.tsdb.dbPassword=canal

## canal.instance.connectionCharset 代表数据库的编码方式对应到 java 中的编码类型，比如 UTF-8，GBK , ISO-8859-1
## 如果系统是1个 cpu，需要将 canal.instance.parser.parallel 设置为 false

• 启停

sh bin/startup.sh
sh bin/stop.sh

canal-adpter

• 压缩包下载

wget https://github.com/alibaba/canal/releases/download/canal-1.1.6/canal.adapter-1.1.6.tar.gz

• adpters配置

  -- application.yml

server:
  port: 8081
logging:
  level:
    com.alibaba.otter.canal.client.adapter.hbase: DEBUG
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
    default-property-inclusion: non_null
canal.conf:
  canalServerHost: 127.0.0.1:11111
  batchSize: 500
  syncBatchSize: 1000
  retries: 0
  timeout:
  mode: tcp # kafka rocketMQ
  srcDataSources:
    defaultDS:
      url: jdbc:mysql://127.0.0.1:3306/mytest?useUnicode=true
      username: root
      password: 121212
  canalAdapters:
  - instance: example # canal instance Name or mq topic name
    groups:
    - groupId: g1
      outerAdapters:
      - name: rdb                                               # 指定为rdb类型同步
        key: oracle1                                            # 指定adapter的唯一key, 与表映射配置中outerAdapterKey对应
        properties:
          jdbc.driverClassName: oracle.jdbc.OracleDriver        # jdbc驱动名, 部分jdbc的jar包需要自行放致lib目录下
          jdbc.url: jdbc:oracle:thin:@localhost:49161:XE        # jdbc url
          jdbc.username: mytest                                 # jdbc username
          jdbc.password: m121212                                # jdbc password
          threads: 5                                            # 并行执行的线程数, 默认为1

• rdb映射配置

dataSourceKey: defaultDS
destination: example
groupId: g1
outerAdapterKey: oracle1
concurrent: true
dbMapping:
  mirrorDb: true  #ddl开启
  database: mytest
  table: user
  targetDb: mytarget
  targetTable: user

• 启停

sh bin/startup.sh
sh bin/stop.sh