阿里数据同步中间件canal(三)HA集群版搭建

目标

搭建canal集群3个canal-server服务，2个canal-client服务，实现高可用。

运行环境

准备3台虚拟机
192.168.56.101：安装canal-admin，canal-server01，zk
192.168.56.102：安装canal-server02
192.168.56.103：安装canal-server02
安装zk略

安装canal-admin

官方文档地址：https://github.com/alibaba/canal/wiki/Canal-Admin-QuickStart
修改配置文件application.yml数据库配置信息

这里需要注意，canal的adminPasswd并不是登陆admin的密码，登陆admin的密码是设置在对应的数据库中的，默认为123456。
另外，因为 Canal Admin 是一个管理系统，需要使用数据库存放配置信息，只用在 MySQL 中执行 Canal Admin 提供的数据库初始化文件即可，该文件在“conf/canal_manager.sql”路径下面。

上面的 Canal Admin 配置好了之后直接根据“/bin/startup.sh”启动 Canal Admin 即可，在浏览器上面输入 hostip:8089 即可进入到管理页面，如果使用的默认的配置信息，用户名入”admin”，密码输入”123456”即可访问首页。

登录到管理端并新建集群，输入集群的名称以及 Zookeeper地址和端口，如图：

。这里的集群目前还没有任务节点，后续通过配置 Canal Server 的自动注册功能，便可以查看该集群下面拥有的节点。创建集群后，需先配置集群主配置文件canal.properties，载入模板即可，修改：admin和zk的地址。

更改配置使用default-instance.xml，不要使用file-instance.xml配置

在3台服务器上分别安装3个canal-server服务
修改3个canal-server服务的canal_local.properties配置文件，因为集群模式下生效的配置文件是canal_local.properties。
参考本人修改如下:

# register ip
canal.register.ip =192.168.56.101

# canal admin config
canal.admin.manager = 192.168.56.101:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster = canal-cluster

随后分别启动3个canal-server服务，特别注意：启动命令是

./start.sh local

在canal-admin界面 server管理 新建3个canal-server信息
如下所示，监控集群模式下3个server已启动正常。
新建instance
在admin管理端页面，instance管理处新建instance实例信息，本人起名example，修改配置文件参考如下：

#################################################
## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0

# enable gtid use true/false
canal.instance.gtidon=false

# position info
canal.instance.master.address=192.168.56.101:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
canal.instance.dbUsername=root
canal.instance.dbPassword=Admin123!
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=.*\\..*
# table black regex
canal.instance.filter.black.regex=
# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch

# mq config
canal.mq.topic=example
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#################################################

之后启动，看状态是否运行。

配置canal-client

本人在IDEA里打开上一篇博客:阿里数据同步中间件canal(二)单机版搭建的java客户端代码canal-client见

https://github.com/mikewuhao/springBoot-canal-client

代码创建连接处 注掉单机连，放开集群连接并修改好zk地址和集群名称。
一套代码克隆2份，端口做区分，同时运行。

验证

1.进服务器，kill一个canal-server进程，去admin界面，查看集群内的其他server是否正常。
2.canal-client当开2个服务时，只有1个处于running状态，另一个处于standby,当把running状态的client服务关掉，另一个是否正常运行。