手把手教你生产环境搭建Canal1.1.5高可用集群

Canal1.1.5高可用集群

一、安装准备

1.1版本选择

1. canal 1.1.4版本，迎来最重要的WebUI能力，引入canal-admin工程，支持面向WebUI的canal动态管理能力，支持配置、任务、日志等在线白屏运维能力，具体文档：Canal Admin Guide

2. 当前最新稳定版到1.1.6，经调研查询有重大bug

3. 1.1.5在Mq上有了一些新的支持

   新增rabbitmQ的MQ发送支持 #2156
   支持不同topic设置不同的分区数 #2173
   rocketMQ新增tag属性的定义 #3438
   参数配置支持env环境变量 #3450
   

综上，这里我们选择1.1.5

1.2下载安装包

在服务器上，选择合适的路径下载安装包

​ 下载canal-admin

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.admin-1.1.5.tar.gz

​ 下载canal-deployer

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz

如果在服务上下载比较慢，可以将地址复制到浏览器中下载后，再上传到服务器。

1.3节点规划

host
Kafka01	canal-admin
Kafka02		canal-deployer
Kafka03		canal-deployer

二、安装配置canal-admin

2.1安装包解压

mkdir -p /opt/module/canal-admin

解压安装包到新建的文件夹

 tar -zxvf canal.admin-1.1.5.tar.gz -C /opt/module/canal-admin/

2.2初始化元数据库

新建一个canal-admin的元数据库

db：canal_manager

user：canal

pwd：123456

连接mysql，执行本地初始化脚本

mysql -uroot -p123456
mysql>  source conf/canal_manager.sql

如果元数据库在远程，也可复制脚本的sql执行。

2.3修改application.yml配置

vim conf/application.yml

配置文件内容

server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  address: XXXXXXXX.mysql.rds.aliyuncs.com:3306
  database: canal_manager
  username: canal
  password: 123456
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: admin

启动

sh bin/startup.sh

通过8089端口访问canal-admin的web页面。

http://kafka01:8089

默认账号密码是admin/123456，生产环境注意修改密码。

三、安装配置canal-deployer

3.1解压安装包

创建安装目录

mkdir canal-deployer

解压canal-deployer安装包到新建的目录

 tar -zxvf canal.deployer-1.1.5.tar.gz -C /opt/module/canal-deployer/

3.2修改配置canal.properties

vim conf/canal.properties

添加zookeeper地址,将file-instance.xml注释，放开default-instance.xml注释

canal.zkServers =kafka1:2181,kafka2:2181,kafka3:2181/canal
#canal.instance.global.spring.xml = classpath:spring/file-instance.xml
canal.instance.global.spring.xml = classpath:spring/default-instance.xml

为了方便管理，zookeeper中创建cancal路径

登录到zk主机并找到zk的bin目录
输入命令./zkCli.sh
创建节点 create /canal id ( {id} (id({id}这个参数必须有，否则创建节点会失败，但值可以任意)
重启服务

3.3分发安装包

将opt/module/canal-deployer文件夹发送到kafka03节点

scp -r /opt/module/canal-deployer root@kafka03:/opt/module

3.4简单示例

监控kafka02上的mysql

vim conf/example/instance.properties

Kafka02

canal.instance.mysql.slaveId = 1
canal.instance.master.address=kafka02:3306

kafka03

canal.instance.mysql.slaveId = 1
canal.instance.master.address=kafka02:3306

启动两个canal-deployer

/opt/module/canal-deployer/bin/start.sh

四、canal-admin 管理

新建集群

配置zk的地址，即可完成集群添加。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y7JHAgcR-1679467122759)(/Users/along/Library/Application Support/typora-user-images/image-20230321164712417.png)]

集群下

添加sever

好了，现在你可以在web界面下管理canal集群，添加instance了。