多个canal-server集群共用一套zookeeper解决方案

前言

canal提供了使用zk搭建集群版的server的方式，进一步保证了canal的高可用性，但是我们有时会遇到需要多个集群的情况，在使用中发现，一个集群就需要搭建一套zk，这就大大增加了我们使用的成本，下面就给大家介绍一下如何使用一套zk，创建多个canal-server集群

集群配置

• 首先需要在canal-adamin界面创建集群，编辑集群名称和zk地址

zk名称：serve-1
地址: 192.168.0.19:2181

• admin界面配置集群,导入基本配置，修改以下内容

canal.zkServers = 192.168.0.19:2181
canal.instance.global.spring.xml = classpath:spring/default-instance.xml
# 其他内容根据需要自行调整

• 修改server启动配置canal.properties，并启动server（k8s下启动查看之前文章，修改config.sh文件）

# register ip
canal.register.ip = ${HOSTNAME}.canal-server-discovery-svc-stable.testcanal.svc.cluster.local

# canal admin config
canal.admin.manager = canal-admin-stable:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register 
canal.admin.register.auto = true
# 注意这里要填写的是admin下创建的集群名称
canal.admin.register.cluster = serve-1

至此集群版canal-server就搭建完成，可以在zk的根目录下查看到canal的相关信息，那我们如何在zk上部署多套server集群呢？

zk部署多套server集群

• 使用命令或插件在zk根目录下新建znode：test-canal

create /test-canal "test-canal"

• canal-admin界面新建集群

zk名称：serve-2
地址: 192.168.0.19:2181/test-canal

• admin界面配置集群,导入基本配置，修改以下内容

canal.zkServers = 192.168.0.19:2181/test-canal
canal.instance.global.spring.xml = classpath:spring/default-instance.xml
# 其他内容根据需要自行调整

• 修改server启动配置canal.properties，并启动server

注意必须先在zk内创建znode之后再创建相关配置，否则server在启动时连接zk会报错，当然也可以通过修改代码，让server在启动时自动创建znode，本文不再做描述，为大家提供相关代码位置

• com.alibaba.otter.canal.deployer.CanalController.java

final String zkServers = getProperty(properties, CanalConstants.CANAL_ZKSERVERS);
        if (StringUtils.isNotEmpty(zkServers)) {
            zkclientx = ZkClientx.getZkClient(zkServers);
            // 初始化系统目录
            zkclientx.createPersistent(ZookeeperPathUtils.DESTINATION_ROOT_NODE, true);
            zkclientx.createPersistent(ZookeeperPathUtils.CANAL_CLUSTER_ROOT_NODE, true);
        }

以上便是在同一套zk下创建多个canal-server集群的方式，希望对你有所帮助！

欢迎关注我的个人微信公众号，一个菜鸟程序猿的技术分享和奔溃日常