canal集群搭建

已于 2024-05-23 10:08:31 修改
阅读量943 收藏 29
点赞数 18
文章标签： java
于 2024-05-23 09:45:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16938433/article/details/139137541
版权

1、下载必备的文件

下载路径 Release v1.1.7 · alibaba/canal · GitHub

2、canal-admin搭建

canal.admin-1.1.7.tar.gz

2-1、cd /user/local/

2-2、mkdir canal-admin

2-3、cd canal-admin

2-4、tar -xvzf canal.admin-1.1.7.tar.gz

2-5、cdn conf

根据 自身环境 编辑application.yml配置文件。

server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
​
spring.datasource:
  address: ip:port
  database: canal_manager
  username: username
  password: pwd
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://ip:port/canal_manager?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1
​
canal:
  adminUser: admin
  adminPasswd: admin # 注 需要再数据库select PASSWORD('admin '); 结果在deployer 使用

2-6、启动 sh start.sh

2-7、登录canal-admin web管理端页面

2-8、集群管理 新增集群

2-9、集群管理 集群主配置新增配置属性 如下

#################################################
#########       common argument     #############
#################################################
canal.port = 11111
canal.metrics.enable = false
# canal.metrics.pull.port = 11112
# canal instance user/passwd
canal.user = canal
canal.passwd = 645977707aadeb7656d97d395071e5764d5685e4
#自己的zookeeper集群ip
canal.zkServers =10.70.xxx.xxx:2181,10.70.xxx.xxx:2181,10.70.xxx.xxx:2181
# flush data to zk
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ
canal.serverMode = tcp
# flush meta cursor/parse position to file
canal.file.data.dir = ${canal.conf.dir}
canal.file.flush.period = 1000
## memory store RingBuffer size, should be Math.pow(2,n)
canal.instance.memory.buffer.size = 16384
## memory store RingBuffer used memory unit size , default 1kb
canal.instance.memory.buffer.memunit = 1024 
## meory store gets mode used MEMSIZE or ITEMSIZE
canal.instance.memory.batch.mode = MEMSIZE
canal.instance.memory.rawEntry = true
​
## detecing config
canal.instance.detecting.enable = true
#canal.instance.detecting.sql = insert into retl.xdual values(1,now()) on duplicate key update x=now()
canal.instance.detecting.sql = select 1
canal.instance.detecting.interval.time = 3
canal.instance.detecting.retry.threshold = 3
canal.instance.detecting.heartbeatHaEnable = true
​
# support maximum transaction size, more than the size of the transaction will be cut into multiple transactions delivery
canal.instance.transaction.size =  1024
# mysql fallback connected to new master should fallback times
canal.instance.fallbackIntervalInSeconds = 60
​
# network config
canal.instance.network.receiveBufferSize = 16384
canal.instance.network.sendBufferSize = 16384
canal.instance.network.soTimeout = 30
​
# binlog filter config
canal.instance.filter.druid.ddl = true
canal.instance.filter.query.dcl = false
canal.instance.filter.query.dml = false
canal.instance.filter.query.ddl = false
canal.instance.filter.table.error = false
canal.instance.filter.rows = false
canal.instance.filter.transaction.entry = false
canal.instance.filter.dml.insert = false
canal.instance.filter.dml.update = false
canal.instance.filter.dml.delete = false
​
# binlog format/image check
canal.instance.binlog.format = ROW,STATEMENT,MIXED 
canal.instance.binlog.image = FULL,MINIMAL,NOBLOB
​
# binlog ddl isolation
canal.instance.get.ddl.isolation = false
​
# parallel parser config
canal.instance.parser.parallel = true
## concurrent thread number, default 60% available processors, suggest not to exceed Runtime.getRuntime().availableProcessors()
#canal.instance.parser.parallelThreadSize = 16
## disruptor ringbuffer size, must be power of 2
canal.instance.parser.parallelBufferSize = 256
​
# table meta tsdb info
canal.instance.tsdb.enable = true
#canal.instance.tsdb.dir = ${canal.file.data.dir:../conf}/${canal.instance.destination:}
#canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
#canal.instance.tsdb.dbUsername = canal
#canal.instance.tsdb.dbPassword = canal
canal.instance.tsdb.url = jdbc:mysql://127.0.0.1:3353/canal_tsdb
canal.instance.tsdb.dbUsername = user
canal.instance.tsdb.dbPassword = pwd
​
# dump snapshot interval, default 24 hour
canal.instance.tsdb.snapshot.interval = 24
# purge snapshot expire , default 360 hour(15 days)
canal.instance.tsdb.snapshot.expire = 360
​
#################################################
#########       destinations        #############
#################################################
canal.destinations = 
# conf root dir
canal.conf.dir = ../conf
# auto scan instance dir add/remove and start/stop instance
canal.auto.scan = true
canal.auto.scan.interval = 5
# set this value to 'true' means that when binlog pos not found, skip to latest.
# WARN: pls keep 'false' in production env, or if you know what you want.
canal.auto.reset.latest.pos.mode = false
​
#canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml
canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml
​
canal.instance.global.mode = manager
canal.instance.global.lazy = false
canal.instance.global.manager.address = ${canal.admin.manager}
#canal.instance.global.spring.xml = classpath:spring/memory-instance.xml
canal.instance.global.spring.xml = classpath:spring/file-instance.xml
#canal.instance.global.spring.xml = classpath:spring/default-instance.xml
​
##################################################
#########         MQ Properties      #############
##################################################
# aliyun ak/sk , support rds/mq
canal.aliyun.accessKey =
canal.aliyun.secretKey =
canal.aliyun.uid=
​
#canal.mq.flatMessage = true
#canal.mq.canalBatchSize = 50
#canal.mq.canalGetTimeout = 100
# Set this value to "cloud", if you want open message trace feature in aliyun.
#canal.mq.accessChannel = local
​
#canal.mq.database.hash = true
#canal.mq.send.thread.size = 30
#canal.mq.build.thread.size = 8
​
##################################################
#########            Kafka           #############
##################################################
#kafka.bootstrap.servers = 127.0.0.1:9092
#kafka.acks = all
#kafka.compression.type = none
#kafka.batch.size = 16384
#kafka.linger.ms = 1
#kafka.max.request.size = 1048576
#kafka.buffer.memory = 33554432
#kafka.max.in.flight.requests.per.connection = 1
#kafka.retries = 0
​
#kafka.kerberos.enable = false
#kafka.kerberos.krb5.file = ../conf/kerberos/krb5.conf
#kafka.kerberos.jaas.file = ../conf/kerberos/jaas.conf
​
# sasl demo
# kafka.sasl.jaas.config = org.apache.kafka.common.security.scram.ScramLoginModule required \\n username=\"alice\" \\npassword="alice-secret\";
# kafka.sasl.mechanism = SCRAM-SHA-512
# kafka.security.protocol = SASL_PLAINTEXT
​
##################################################
#########           RocketMQ         #############
##################################################
#rocketmq.producer.group = test
#rocketmq.enable.message.trace = false
#rocketmq.customized.trace.topic =
#rocketmq.namespace =
#rocketmq.namesrv.addr = 127.0.0.1:9876
#rocketmq.retry.times.when.send.failed = 0
#rocketmq.vip.channel.enabled = false
#rocketmq.tag = 
​
##################################################
#########           RabbitMQ         #############
##################################################
#rabbitmq.host =
#rabbitmq.virtual.host =
#rabbitmq.exchange =
#rabbitmq.username =
#rabbitmq.password =
#rabbitmq.deliveryMode =
​
​
##################################################
#########             Pulsar         #############
##################################################
#pulsarmq.serverUrl =
#pulsarmq.roleToken =
#pulsarmq.topicTenantPrefix =
​

3、canal-depolyer搭建

canal.deployer-1.1.7.tar.gz

3-1、cd /user/local/

3-2、mkdir canal-deployer

3-3、cd canal-deployer

3-4、tar -xvzf canal-deployer-1.1.7.tar.gz

3-5、cdn conf

canal.register.ip =
​
# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 74C70DB76D89593E95CF5D3FEA1751958C4D1396
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =
canal.admin.register.name =

3-6、启动deployer

4、创建实例

示例配置文件如下

#################################################
## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0
​
# enable gtid use true/false
canal.instance.gtidon=true
​
# position info
canal.instance.master.address=127.0.0.1:3352
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=
​
# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=
​
# table meta tsdb info
canal.instance.tsdb.enable=true
canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3352/canal_tsdb
canal.instance.tsdb.dbUsername=user
canal.instance.tsdb.dbPassword=pwd
​
canal.instance.standby.address =127.0.0.1:3353
canal.instance.standby.journal.name =
canal.instance.standby.position =
canal.instance.standby.timestamp =
canal.instance.standby.gtid=
​
# username/password
canal.instance.dbUsername=user
canal.instance.dbPassword=pwd
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==
​
# table regex
canal.instance.filter.regex=vdn\\.object_video
# table black regex
canal.instance.filter.black.regex=
# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch
​
# mq config
#canal.mq.topic=example
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
#canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#################################################
​

5、H2数据库说明

1、下载H2数据库

H2 Database Engine

2、上传h2-2022-06-13.zip

3、解压h2-2022-06-13

4、cd h2dir/bin

5、启动h2

6、创建数据库

数据库：java -cp h2-2.1.214.jar org.h2.tools.Shell

数据库地址： jdbc:h2:../data/tsdb # 创建数据库文件的路径，配置使用

驱动：org.h2.Driver

user: canal

pwd: canal

修改集群配置中的 tsdb数据库链接， 注意，每个canal deployer 都需要安装h2

canal.instance.tsdb.enable = true
canal.instance.tsdb.dir = /usr/local/h2/data #此处为 上面 创建数据库文件的路径
canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/tsdb;CACHE_SIZE=1000;MODE=MYSQL;
canal.instance.tsdb.dbUsername = canal
canal.instance.tsdb.dbPassword = canal
万丿小衫
关注
  • 18
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
搭建本地Canal中间件进行数据迁移 —— 从缓存击穿得到的启发
如切如磋，如琢如磨
04-21 3705
文章目录先从缓存击穿说起MySQL数据同步Canal工作原理搭建本地Canal中间件进行数据迁移 先从缓存击穿说起 所谓缓存击穿，就是热点数据在缓存中没有数据，大量用户请求直接打在数据库上，这是一种非常危险的情况，我们应该在开发过程中避免此过程的发生。 目前我们经常使用的解决方案一共有3种： 缓存过期策略方案： 使用读写分离架构，读取永远从缓存里读，DB和缓存之间的同步使用Canal 热点缓存策略： 甄别出热点数据后，将针对热点数据的请求打到特别的一个区域 互斥锁： 在数据快要到期之前，给key
canal集群高可用模式实战，canal1.1.6实现mysql8.0数据增量/全量同步到elasticsearch7，保姆级教程
qq_45132989的博客
09-05 5328
主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。canal的工作原理：1.canal模拟mysql sllave的交互协议，伪装自己为mysql salve；2.mysql master收到dump请求，开始推送binary log给 slave（也就是canal）；3.canal解析binary log 对象（原始byte流），再发送到存储目的地，比如MySQL，Kafka，Elastic Search等等。canal的数据同步可以增量/全量。
Canal集群化部署.docx
11-20
基于日志增量订阅&消费支持的业务 1. 数据库镜像 2. 数据库实时备份 3. 多级索引 (卖家和买家各自分库索引) 4. search build 5. 业务cache刷新 6. 价格变化等重要业务消息
CanalAdmin搭建Canal Server集群
huan的学习记录
06-05 5621
一、背景 使用CanalAdmin来搭建一个canal集群。 二、机器情况 服务名 机器ip 备注 canal admin 127.0.0.1:8089 canal admin 机器 canal server 1 127.0.0.1:11111 本地canal server机器 canal server 2 127.0.0.1:11113 本地canal server机器 zk 127.0.0.1:2181,127.0.0.1:3181,127.0.0.1:4181 本地zk集群
Canal集群搭建
liangshitian的博客
10-25 261
springboot使用canal中间件
Canal 同步 (集群版)
最新发布
sdfsfaf的博客
01-25 1351
Canal 阿里云RDS同步到Mysql
（1）Canal在linux上搭建集群
wzk153的博客
12-14 365
官网https://github.com/alibaba/canal介绍，canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。从上述介绍我们可以简单认为Canal就是一个简单的增量数据同步工具。
canal介绍及HA集群模式搭建
XDSXHDYY的博客
07-30 6518
快速了解canal 1.首先大概介绍一下canal是干啥的？ canal是用来实时同步mysql数据的。对于离线任务可以通过sqoop将mysql业务库的数据导入hive数仓中计算，但是想要处理实时任务就要借助canal解析binlog日志来实现了。 官网的详细介绍： https://github.com/alibaba/canal/wiki 2.canal是如何实时获取mysql数据的？ can...
canal集群部署及使用
zenglingmin8的博客
07-20 2243
本文主要讲解canal集群部署及使用
windows环境搭建canal集群同步binlog到Kafka
trntaken的博客
05-01 2428
一、canal 高可用集群架构原理 介绍： canal 模拟mysql slave原理，将自己伪装为slave，同步mysql master binlog。 1.Admin负责管理canal 集群配置信息，动态管理所有canal Server 配置信息；管理canal server 上的instance 队列； 2.Canal Server 创建Instance实例，同步mysql binlog 队列； 3.instacne ...
三、canal集群部署
sinat_27818621的博客
11-16 5760
目前canal的一个instance客户端是一 一对应的关系，那么想要保证程序的高可用就要实现集群模式，如下图 两个canal(server),只会有一个工作，另一个处于阻塞状态 两个canal(client),只会有一个工作，另一个处于阻塞状态 如果工作中的canal(server) 或canal(client)，那么就绪状态的canal(server) 或canal(client)就会进入工作状态，从而达到高可用。 如何搭建高可用集群？ 1.下载 https://github.c..
Canal高可用架构部署
zlt2000的博客
03-22 1637
一、前言 canal 是阿里的一款开源项目，纯 Java 开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了 MySQL(也支持 mariaDB)。 canal 模拟 mysql slave 的交互协议，伪装自己为 mysql slave，向 mysql master发送 dump 协议； mysql master 收到 dump 请求，开始推送binary log给 slave(也就是canal) canal 解析 binary log对象(原始为byte流)。 &nbs.
Canal实战使用(集群部署)和原理解析
qq_33790251的博客
05-05 1664
MySQL master将数据变更写入二进制日志(binary log，其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)配置完成后，先启动服务端(省略zk安装，较为简单可以自己百度)，然后启动客户端，新建表添加数据进行测试。canal模拟mysql数据同步的原理，伪装自己为mysql slave，向mysql master发送dump协议。MySQL slave重放relay log中事件，将数据变更反映它自己的数据。
Canalv1.1.4版本搭建HA集群
Throwable
08-22 6216
前提Canal上一个正式版是于2019-9-2发布的v1.1.4，笔者几个月前把这个版本的Canal推上了生产环境，部署了HA集群。过程中虽然遇到不少的坑，但是在不出问题的前提下，Can...
高可用 Canal集群（ 秒懂 + 史上最全）
热门推荐
架构师尼恩
12-23 1万+
canal server 仅仅是保姆角色，真正完成 解析 binlog日志、 binlog日志过滤、 binlog日志转储、位点元数据管理等等 核心功能，是由canal instance 角色完成。Canal Instance 的架构图如下图所示：Canal 中数据的同步是由 CanalInstance 组件负责，一个 Canal Server 实例中可以创建多个 CanalInstance 实例。
mysql进阶：canal搭建主从｜集群架构
55555的博客
10-06 3294
deployer节点同时只会运行一个，而adapter节点是采用服务分发的机制，多节点同时服务，由zk分发请求到具体的adapter节点上执行数据同步任务下期，我们接着讲讲如何结合canal-admin来管理集群节点。
canal server 标准化集群搭建（一）
2301_76957510的博客
05-27 1716
安装 maven 包（自动安装到 target 目录下，zkui-2.0-SNAPSHOT-jar-with-dependencies.jar 会被安装）# 第50行修改为instance name，要与上级目录名、canal.properties 中的 intance name 一致。# 修改 instance 配置文件——非必须，可以不修改，因为配置 canal admin 后，该信息是从 admin 获取的。# 访问 canal admin，默认密码：admin/123456。
canal server 标准化集群搭建（完结）
2301_76957510的博客
05-27 2114
第33行修改为源数据库抽数用户，权限为 replication client、replication slave、指定库的 select 权限。# 第50行修改为instance name，要与上级目录名、canal.properties 中的 intance name 一致。# 第15行取消注释，修改 admin server 地址。# 第41行修改为要抽取的数据库（白名单）# 第34行修改为源数据库抽数用户的密码。，加载配置模板内容，修改内容类似。# 第9行修改源数据库地址:端口。
canal客户端连接canal集群
06-03
要连接 Canal 集群，需要使用 Canal 客户端进行连接。下面是连接 Canal 集群的一些基本步骤： 1. 首先，需要安装 Canal 客户端。可以从 Canal 的官方网站上下载客户端程序。 2. 然后，在客户端程序中配置 Canal 服务器的地址和端口号。 3. 接下来，创建一个 Canal 客户端对象，并使用该对象连接 Canal 服务器。 4. 一旦客户端连接到 Canal 服务器，就可以使用客户端 API 来订阅 Canal 中的数据变更。 5. 最后，处理 Canal 发送过来的数据变更消息，并根据业务需求进行相应的处理。 需要注意的是，连接 Canal 集群需要配置正确的地址和端口号，以及正确的订阅方式和过滤规则。同时，还需要考虑高可用和容错等问题，确保系统的稳定性和可靠性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值