canal 1.1.4 HA原理 & canal-admin 搭建实例

最新推荐文章于 2024-07-29 10:06:29 发布
最新推荐文章于 2024-07-29 10:06:29 发布
阅读量699 收藏 4
点赞数
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010001074/article/details/117781081
版权

1 Canal Server 集群模式

1.1 HA设计

canal的HA分为两部分，canal server和canal client分别有对应的ha实现：

  • canal server: 为了减少对mysql dump的请求，不同server上的instance要求同一时间只能有一个处于running，其他的处于standby状态。
  • canal client: 为了保证有序性，一份instance同一时间只能由一个canal client进行get/ack/rollback操作，否则客户端接收无法保证有序。

整个HA机制的控制主要是依赖了zookeeper的几个特性。

Canal Server:

大致步骤：

  • canal server要启动某个canal instance时都先向zookeeper进行一次尝试启动判断 (实现：创建EPHEMERAL节点，谁创建成功就允许谁启动)
  • 创建zookeeper节点成功后，对应的canal server就启动对应的canal instance，没有创建成功的canal instance就会处于standby状态
  • 一旦zookeeper发现canal server A创建的节点消失后，立即通知其他的canal server再次进行步骤1的操作，重新选出一个canal server启动instance。
  • canal client每次进行connect时，会首先向zookeeper询问当前是谁启动了canal instance，然后和其建立链接，一旦链接不可用，会重新尝试connect。
  • Canal Client的方式和canal server方式类似，也是利用zokeeper的抢占EPHEMERAL节点的方式进行控制。

 

1.2 重点配置修改

修改conf/canal.properties，该文件属于canal全局配置文件，用于配置canal工作模式、zk与kafka等信息。

如果使用canal-admin进行集群部署，可只修改conf/canal_local.properties。具体修改内容参见下文。

#zk集群地址

canal.zkServers = 192.168.xx.xx:2181,192.168.xx.xx:2181,192.168.xx.xx:2181 

 #默认的file-instance不支持HA持久化，需要修改为default

canal.instance.global.spring.xml = classpath:spring/default-instance.xml

2 Canal Admin

2.1 设计理念

canal-admin的核心模型主要有：

1.instance，对应canal-server里的instance，一个最小的订阅mysql的队列

2.server，对应canal-server，一个server里可以包含多个instance

3.集群，对应一组canal-server，组合在一起面向高可用HA的运维

 

简单解释：

1.instance因为是最原始的业务订阅诉求，它会和 server/集群 这两个面向资源服务属性的进行关联，比如instance A绑定到server A上或者集群 A上

2.有了任务和资源的绑定关系后，对应的资源服务就会接收到这个任务配置，在对应的资源上动态加载instance，并提供服务动态加载的过程，有点类似于之前的autoScan机制，只不过基于canal-admin之后可就以变为远程的web操作，而不需要在机器上运维配置文件

3.将server抽象成资源之后，原本canal-server运行所需要的canal.properties/instance.properties配置文件就需要在web ui上进行统一运维，每个server只需要以最基本的启动配置 (比如知道一下canal-admin的manager地址，以及访问配置的账号、密码即可)

2.2 安装部署

1．安装部署canal-admin UI

下载 canal-admin, 访问 release 页面 , 选择需要的包下载, 如以 1.1.4 版本为例

wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.admin-1.1.4.tar.gz

解压缩

mkdir  /canal-admin

tar -zxvf canal.admin-1.1.4.tar.gz  -C /data/jkpt40/lib/canal-admin

解压完成后，进入canal 目录，可以看到如下结构

 配置修改 vi conf/application.yml

 初始化元数据库

# 导入初始化SQL

> source conf/canal_manager.sql

a. 初始化SQL脚本里会默认创建canal_manager的数据库，建议使用root等有超级权限的账号进行初始化b. canal_manager.sql默认会在conf目录下，也可以通过链接下载 canal_manager.sql

启动

 sh bin/start.sh

访问canal-admin  http://127.0.0.1/8090 （如下图所示，替换成你的ip），至此，canal-admin搭建已经完成。

2.安装部署canal-server

准备工作：开启mysql binlog

更改my.cnf配置文件，开启binlog功能

[mysqld] 

log-bin=mysql-bin #添加这一行就ok 

binlog-format=ROW #选择row模式 

server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复 

重启mysql，验证配置是否生效

canal的原理是模拟自己为mysql slave，所以这里一定需要做为mysql slave的相关权限

CREATE USER canal IDENTIFIED BY 'canal';    

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';   -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ; 

 FLUSH PRIVILEGES;

前置准备工作结束。

登录canal-admin，新建集群

添加/修改集群配置

选择新建的集群，操作-主配置，来修改配置。

点击载入模板来加载默认配置。然后修改以下配置项：

#集群模式下通过zk通信

canal.zkServers =  

#可以配置多个，一个destination生成一个文件夹

canal.destinations =

#集群模式下一定要选择default-instance.xml

#canal.instance.global.spring.xml = classpath:spring/file-instance.xml

canal.instance.global.spring.xml = classpath:spring/default-instance.xml

注：其他使用默认配置就行，不用修改。

支持是MySQL数据库M-M模式，其中一主挂了后自动漂移：

https://github.com/alibaba/canal/wiki/AdminGuide#mysql%E5%A4%9A%E8%8A%82%E7%82%B9%E8%A7%A3%E6%9E%90%E9%85%8D%E7%BD%AEparse%E8%A7%A3%E6%9E%90%E8%87%AA%E5%8A%A8%E5%88%87%E6%8D%A2

canal支持数据表改动继续监听（默认已经支持）：

https://github.com/alibaba/canal/wiki/TableMetaTSDB

修改canal server conf文件夹下 canal_local.properties

canal.register.ip=

canal.admin.manager=

#与canal_manaer.canal_user表中passwd一致

canal.admin.passwd=

启动canal server

sh bin/restart.sh local

#启动参数加local，canal会读取canal_local.properties文件

查看注册了此集群的server

新建instance

添加instance配置

#主节点

canal.instance.master.address=172.31.xx.xx:53306

#从节点（没有可以不用配置）

canal.instance.standby.address = 172.31.xx.xx:53306

canal.instance.dbUsername=canal

canal.instance.dbPassword=canal

 

canal.properties全部配置

#################################################

#########              common argument        #############

#################################################

# tcp bind ip

#canal.ip = 172.31.xx.xx

# register ip to zookeeper

#canal.register.ip = 172.31.xx.xx

canal.port = 11111

canal.metrics.pull.port = 11112

# canal instance user/passwd

# canal.user = canal

# canal.passwd = E3619321C1A937C46A0D8BD1DAC39F93B27D4458

# canal admin config

#canal.admin.manager = 127.0.0.1:8089

canal.admin.port = 11110

canal.admin.user = admin

canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441

canal.zkServers = zookeeper01.host:2181,zookeeper02.host:2181,zookeeper03.host:2181

# flush data to zk

canal.zookeeper.flush.period = 1000

canal.withoutNetty = false

# tcp, kafka, RocketMQ

canal.serverMode = tcp

# flush meta cursor/parse position to file

canal.file.data.dir = ${canal.conf.dir}

canal.file.flush.period = 1000

## memory store RingBuffer size, should be Math.pow(2,n)

canal.instance.memory.buffer.size = 16384

## memory store RingBuffer used memory unit size , default 1kb

canal.instance.memory.buffer.memunit = 1024

## meory store gets mode used MEMSIZE or ITEMSIZE

canal.instance.memory.batch.mode = MEMSIZE

canal.instance.memory.rawEntry = true

## detecing config

canal.instance.detecting.enable = true

#canal.instance.detecting.sql = insert into retl.xdual values(1,now()) on duplicate key update x=now()

canal.instance.detecting.sql = select 1

canal.instance.detecting.interval.time = 3

canal.instance.detecting.retry.threshold = 3

canal.instance.detecting.heartbeatHaEnable = true

# support maximum transaction size, more than the size of the transaction will be cut into multiple transactions delivery

canal.instance.transaction.size =  1024

# mysql fallback connected to new master should fallback times

canal.instance.fallbackIntervalInSeconds = 60

# network config

canal.instance.network.receiveBufferSize = 16384

canal.instance.network.sendBufferSize = 16384

canal.instance.network.soTimeout = 30

# binlog filter config

canal.instance.filter.druid.ddl = true

canal.instance.filter.query.dcl = false

canal.instance.filter.query.dml = false

canal.instance.filter.query.ddl = false

canal.instance.filter.table.error = false

canal.instance.filter.rows = false

canal.instance.filter.transaction.entry = false

# binlog format/image check

canal.instance.binlog.format = ROW,STATEMENT,MIXED

canal.instance.binlog.image = FULL,MINIMAL,NOBLOB

# binlog ddl isolation

canal.instance.get.ddl.isolation = false

# parallel parser config

canal.instance.parser.parallel = true

## concurrent thread number, default 60% available processors, suggest not to exceed Runtime.getRuntime().availableProcessors()

canal.instance.parser.parallelThreadSize = 16

## disruptor ringbuffer size, must be power of 2

canal.instance.parser.parallelBufferSize = 256

# table meta tsdb info

canal.instance.tsdb.enable = true

canal.instance.tsdb.dir = ${canal.file.data.dir:../conf}/${canal.instance.destination:}

canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;

canal.instance.tsdb.dbUsername = canal

canal.instance.tsdb.dbPassword = canal

# dump snapshot interval, default 24 hour

canal.instance.tsdb.snapshot.interval = 24

# purge snapshot expire , default 360 hour(15 days)

canal.instance.tsdb.snapshot.expire = 360

# aliyun ak/sk , support rds/mq

canal.aliyun.accessKey =

canal.aliyun.secretKey =

#################################################

#########              destinations           #############

#################################################

canal.destinations = databasename

# conf root dir

canal.conf.dir = ../conf

# auto scan instance dir add/remove and start/stop instance

canal.auto.scan = true

canal.auto.scan.interval = 5

canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml

#canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml

canal.instance.global.mode = spring

canal.instance.global.lazy = false

canal.instance.global.manager.address = ${canal.admin.manager}

#canal.instance.global.spring.xml = classpath:spring/memory-instance.xml

#canal.instance.global.spring.xml = classpath:spring/file-instance.xml

canal.instance.global.spring.xml = classpath:spring/default-instance.xml

 

#################################################

#########                   MQ                  #############

##################################################

canal.mq.servers = 

canal.mq.retries = 0

canal.mq.batchSize = 16384

canal.mq.maxRequestSize = 1048576

canal.mq.lingerMs = 100

canal.mq.bufferMemory = 33554432

canal.mq.canalBatchSize = 50

canal.mq.canalGetTimeout = 100

canal.mq.flatMessage = true

canal.mq.compressionType = none

canal.mq.acks = all

#canal.mq.properties. =

canal.mq.producerGroup = test

# Set this value to "cloud", if you want open message trace feature in aliyun.

canal.mq.accessChannel = local

# aliyun mq namespace

#canal.mq.namespace =

 

##################################################

#########     Kafka Kerberos Info    #############

##################################################

canal.mq.kafka.kerberos.enable = false

canal.mq.kafka.kerberos.krb5FilePath = "../conf/kerberos/krb5.conf"

canal.mq.kafka.kerberos.jaasFilePath = "../conf/kerberos/jaas.conf"

 

instance全部配置

#################################################

## mysql serverId , v1.0.26+ will autoGen

# canal.instance.mysql.slaveId=0

# enable gtid use true/false

canal.instance.gtidon=true

# position info

canal.instance.master.address=172.31.xx.xx53306

canal.instance.master.journal.name=

canal.instance.master.position=

canal.instance.master.timestamp=

canal.instance.master.gtid=

# rds oss binlog

canal.instance.rds.accesskey=

canal.instance.rds.secretkey=

canal.instance.rds.instanceId=

# table meta tsdb info

canal.instance.tsdb.enable=true

#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb

#canal.instance.tsdb.dbUsername=canal

#canal.instance.tsdb.dbPassword=canal

#从节点

canal.instance.standby.address = 172.31.xx.xx:53306

#canal.instance.standby.journal.name =

#canal.instance.standby.position =

#canal.instance.standby.timestamp =

#canal.instance.standby.gtid=

# username/password

canal.instance.dbUsername=canal

canal.instance.dbPassword=canal

canal.instance.connectionCharset = UTF-8

# enable druid Decrypt database password

canal.instance.enableDruid=false

#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex

#canal.instance.filter.regex=.*\\..*

canal.instance.filter.regex=db_name.table_name

# table black regex

canal.instance.filter.black.regex=

# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)

#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch

# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)

#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch=

# mq config

canal.mq.topic=example

# dynamic topic route by schema or table regex

#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*

canal.mq.partition=0

# hash partition config

#canal.mq.partitionsNum=3

#canal.mq.partitionHash=test.table:id^name,.*\\..*

#################################################

2.3 验证

关闭目前instance正在运行的server，instance会自动切换到可用的server。

 

神奇的源代码
关注
canal 1.1.4 安装包合集，包括deployer admin adapter
04-09
国内下载GitHub上的安装包会失败或很慢。这里直接把安装包提供给大家，包括deployer,admin和adapter。
Canalv1.1.4版本搭建HA集群
Throwable
08-22 6219
前提Canal上一个正式版是于2019-9-2发布的v1.1.4，笔者几个月前把这个版本的Canal推上了生产环境，部署了HA集群。过程中虽然遇到不少的坑，但是在不出问题的前提下，Can...
canal-安装-配置-使用
最新发布
houduanq的博客
07-29 305
canal
通过canal-admin1.1.4搭建canal-service高可用集群HA
H的博客
10-30 3022
文章基于已经搭建好的canal环境，如果没有搭建好canal环境可以移步https://blog.csdn.net/u012946310/article/details/109361685 搭建好 canal 初始环境 canal admin 与 service 都为1.1.4版本 一，运行环境： 1，两台虚拟机 192.168.2.196：zk、mysql、redis安装在本虚拟机上面，并且有启动 canal-admin 与 canal-service 服务 192.168.2.169：只启动 canal
canal 1.1.4 小记
qq_42496461的博客
01-10 3754
Canal 1.1.4 小记 一 安装前准备 链接 CSDN canal同步mysql数据到es、oracle、mq、redis和mysql中 链接 博客园 canal的使用记录 （工作方式及链接方式） Canal github 链接 Canal 的参数 链接 阿里 canal 的理解 链接 Canal数据库同步组件 链接 canal 概述 deployer : 相当于服务端 adapater...
canal.deployer-1.1.4.zip
04-01
canal 同步mysql数据工具
canal1.1.4版本的所有安装包资源
10-16
阿里巴巴的canal的1.1.4版本的安装包。里面包含了canal.admin-1.1.4.tar.gz、canal.deployer-1.1.4.tar.gz、canal.example-1.1.4.tar.gz、canal-canal-1.1.4.tar.gz、canal-canal-1.1.4.zip
canal-1.1.4合集（含canal.deployer-1.1.4，admin，adapter，example）
06-22
canal.deployer-1.1.4.tar ; canal.admin-1.1.4.tar.gz ; canal.adapter-1.1.4.tar.gz ; canal.example-1.1.4.tar.gz 官网下载非常不易。
canal.deployer-1.1.4.tar.gz【包含所有的canal最新版本】
09-04
网上下载了几个小时都下不下来，终于都下载完了。canal.adapter-1.1.4.tar.gz; canal.admin-1.1.4.tar.gz; canal.deployer-1.1.4.tar.gz; canal.example-1.1.4.tar.gz; canal-canal-1.1.4.zip
canal 1.1.4资源合集(canal.admin\canal.deployer\canal.deployer)-v1
08-18
canal.adapter-1.1.4.tar.gz canal.admin-1.1.4.tar.gz canal.deployer-1.1.4.tar.gz 文件比较大，分两部分分上传
canal 1.1.4 常用工具包
06-23
canal.deployer-1.1.4.tar.gz canal.admin-1.1.4.tar.gz canal.adapter-1.1.4.tar.gz canal.example-1.1.4.tar.gz canal-canal-1.1.4.zip canal 全量工具包集合 https://juejin.cn/post/6864585112994971662
canal-v1.1.4
04-13
https://github.com/alibaba/canal/releases/tag/canal-1.1.4 github上的原资源，包含： canal.adapter-1.1.4.tar.gz canal.admin-1.1.4.tar.gz canal.deployer-1.1.4.tar.gz canal.example-1.1.4.tar.gz Source code(zip)
binlog开源同步组件canal部署包，版本1.1.4
02-18
binlog开源同步组件canal部署包 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包括 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带业务逻辑的增量数据处理 当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x
canal-admin
08-31
canal-admin-1.1.4.............................................
阿里canal1.1.4全.zip
07-03
阿里巴巴开源Canal 1.1.4下载，包含adapter,admin,deployer,example,canal很全，还有源码
Canal1.1.4增加canal-admin发送数据至RabbitMQ
加斯特独挨踢
11-14 3474
Canal1.1.4服务端原生支持mysql数据变化直接发送至kafka、rocketMQ，但是由于我们的项目是使用的RabbitMQ，故需要对原有框架进行扩展。 以下记录处理过程： 1、下载canal1.1.4源码，详见github： https://github.com/alibaba/canal.git 2、分析canaldeployer模块，发现关键引用： <de...
Canal HA模式配置
chbxw
02-04 649
服务器端HA模式配置 canal是支持HA的，其实现机制也是依赖zookeeper来实现的，用到的特性有watcher和EPHEMERAL节点(和session生命周期绑定)，与HDFS的HA类似。 canal的ha分为两部分，canal server和canal client分别有对应的ha实现 canal server: 为了减少对mysql dump的请求，不同server上的instance(不同server上的相同instance)要求同一时间只能有一个处于running，其他的处于standb
Canal1.1.4的安装与使用
weixin_41657391的博客
10-17 1643
这里写自定义目录标题Canal的安装与使用新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Canal的安装与使用 Canal，译意为水道/管道/沟渠。主要用途是基于MYSQL数据库增量日志解析，提供增量数据订阅和消费。 新
canal 源码解析系列-canal的HA机制解析
lucasma的博客
09-21 866
文章目录引言正文server端的HA机制client端的HA机制 引言 首先什么是HA？HA指的是High Available，也就是高可用。通常我们一个服务要支持HA都要借助于第三方的分布式同步协调服务，最常用的是zookeeper（以下简称ZK）。canal实现高可用，主要是依赖了zookeeper的几个特性，watcher和EPHEMERAL节点。 正文 canal的整个HA机制，分为两部分。canal server和client都要有对应的实现。 首先在server端，为了减少对mysql dump
docker部署canal-admin
07-28
image: canaladmin/canal-admin:v1.1.4 ports: - 8089:8089 environment: - canal.adminUser=admin - canal.adminPass=admin - canal.adminPort=8089 - canal.adminConfigPath=/home/admin/config volumes:...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值