（20）MySQL-Canal-Kafa

最新推荐文章于 2023-09-08 09:25:45 发布
最新推荐文章于 2023-09-08 09:25:45 发布
阅读量734 收藏
点赞数
分类专栏： # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/allensandy/article/details/105140098
版权

参考：https://blog.csdn.net/tom_fans/article/details/89390335

目录

1、MySql设置

2、canal安装

 2.1、canal.properties 

 2.2、instance.properties配置

2.3、测试

1、MySql设置

查看binlog是否开启：

show variables like '%log_bin%'

my.ini:

log_bin=mysql-bin
binlog-format=ROW
server-id=1

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

 

下面进行canal的安装，进行之前先运行zk和kafka,具体参考：https://blog.csdn.net/allensandy/article/details/89456977

zkServer.sh start

./kafka-server-start.sh ../config/server.properties &

2、canal安装

https://github.com/alibaba/canal/releases/tag/canal-1.1.3

介绍配置之前，先了解下canal的配置加载方式：

 

canal配置方式有两种：

  1. ManagerCanalInstanceGenerator： 基于manager管理的配置方式，目前alibaba内部配置使用这种方式。大家可以实现CanalConfigClient，连接各自的管理系统，即可完成接入。
  2. SpringCanalInstanceGenerator：基于本地spring xml的配置方式，目前开源版本已经自带该功能所有代码，建议使用

Spring配置

spring配置的原理是将整个配置抽象为两部分：

  • xxxx-instance.xml   (canal组件的配置定义，可以在多个instance配置中共享)
  • xxxx.properties   (每个instance通道都有各自一份定义，因为每个mysql的ip，帐号，密码等信息不会相同)

通过spring的PropertyPlaceholderConfigurer通过机制将其融合，生成一份instance实例对象，每个instance对应的组件都是相互独立的，互不影响

properties配置文件

properties配置分为两部分：

  • canal.properties  (系统根配置文件)
  • instance.properties  (instance级别的配置文件，每个instance一份)

 

 2.1、canal.properties 

案例参考：

# 如果要做高可用的话，把ZooKeeper配置好
canal.zkServers = 10.10.99.130:2181,10.10.99.132:2181,10.10.99.133:2181,10.10.99.124:2181,10.10.99.125:2181
# Binlog格式，MySQL的binlog-format也应该为ROW
canal.instance.binlog.format = ROW
# 是否过滤掉DCL、DML、DDL语句
canal.instance.filter.query.dcl = true
canal.instance.filter.query.dml = false
canal.instance.filter.query.ddl = false
# 允许自动检测Canal监听实例的变更，60秒一次
canal.auto.scan = true
canal.auto.scan.interval = 60
# 默认值tcp，改为投递到Kafka
canal.serverMode = kafka
# Kafka bootstrap.servers，可以不用写上全部的brokers
canal.mq.servers = 10.10.99.132:9092,10.10.99.133:9092,10.10.99.134:9092,10.10.99.135:9092
# 投递失败的重试次数，默认0，改成2
canal.mq.retries = 2
# Kafka batch.size，即producer一个微批次的大小，默认16K，这里加倍
canal.mq.batchSize = 32768
# Kafka max.request.size，即一个请求的最大大小，默认1M，这里也加倍
canal.mq.maxRequestSize = 2097152
# Kafka linger.ms，即sender线程在检查微批次是否就绪时的超时，默认0ms，改为150ms
# 满足batch.size和linger.ms其中之一，就会发送消息
canal.mq.lingerMs = 150
# Kafka buffer.memory，缓存大小，默认32M
canal.mq.bufferMemory = 33554432
# 获取Binlog数据的批次大小，默认50
canal.mq.canalBatchSize = 50
# 获取Binlog数据的超时时间，默认200ms
canal.mq.canalGetTimeout = 200
# 是否将Binlog转为JSON格式。如果为false，就是原生Protobuf格式
canal.mq.flatMessage = true

# 压缩类型，官方文档没有描述
canal.mq.compressionType = none
# Kafka acks，默认all，表示分区leader会等所有follower同步完才给producer发送ack
# 0表示不等待ack，1表示leader写入完毕之后直接ack
canal.mq.acks = all
# Kafka消息投递是否使用事务
# 主要针对flatMessage的异步发送和动态多topic消息投递进行事务控制来保持和Canal Binlog位置的一致性
canal.mq.transaction = false

..............................................................................

#################################################
######### 		destinations		############# 
#################################################
canal.destinations = example
# conf root dir
canal.conf.dir = ../conf
# auto scan instance dir add/remove and start/stop instance
canal.auto.scan = true
canal.auto.scan.interval = 5

canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml
#canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml

canal.instance.global.mode = spring
canal.instance.global.lazy = false
#canal.instance.global.manager.address = 127.0.0.1:1099
#canal.instance.global.spring.xml = classpath:spring/memory-instance.xml
canal.instance.global.spring.xml = classpath:spring/file-instance.xml
#canal.instance.global.spring.xml = classpath:spring/default-instance.xml

本机：

#################################################
######### 		common argument		############# 
#################################################
#canal.manager.jdbc.url=jdbc:mysql://127.0.0.1:3306/canal_manager?useUnicode=true&characterEncoding=UTF-8
#canal.manager.jdbc.username=root
#canal.manager.jdbc.password=121212
canal.id = 1
canal.ip =
canal.port = 11111
canal.metrics.pull.port = 11112
canal.zkServers =192.168.10.11:2181
# flush data to zk
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
# tcp, kafka, RocketMQ
canal.serverMode = kafka
# flush meta cursor/parse position to file
canal.file.data.dir = ${canal.conf.dir}
canal.file.flush.period = 1000
## memory store RingBuffer size, should be Math.pow(2,n)
canal.instance.memory.buffer.size = 16384
## memory store RingBuffer used memory unit size , default 1kb
canal.instance.memory.buffer.memunit = 1024 
## meory store gets mode used MEMSIZE or ITEMSIZE
canal.instance.memory.batch.mode = MEMSIZE
canal.instance.memory.rawEntry = true

## detecing config
canal.instance.detecting.enable = false
#canal.instance.detecting.sql = insert into retl.xdual values(1,now()) on duplicate key update x=now()
canal.instance.detecting.sql = select 1
canal.instance.detecting.interval.time = 3
canal.instance.detecting.retry.threshold = 3
canal.instance.detecting.heartbeatHaEnable = false

# support maximum transaction size, more than the size of the transaction will be cut into multiple transactions delivery
canal.instance.transaction.size =  1024
# mysql fallback connected to new master should fallback times
canal.instance.fallbackIntervalInSeconds = 60

# network config
canal.instance.network.receiveBufferSize = 16384
canal.instance.network.sendBufferSize = 16384
canal.instance.network.soTimeout = 30

# binlog filter config
canal.instance.filter.druid.ddl = true
canal.instance.filter.query.dcl = false
canal.instance.filter.query.dml = false
canal.instance.filter.query.ddl = false
canal.instance.filter.table.error = false
canal.instance.filter.rows = false
canal.instance.filter.transaction.entry = false

# binlog format/image check
canal.instance.binlog.format = ROW,STATEMENT,MIXED 
canal.instance.binlog.image = FULL,MINIMAL,NOBLOB

# binlog ddl isolation
canal.instance.get.ddl.isolation = false

# parallel parser config
canal.instance.parser.parallel = true
## concurrent thread number, default 60% available processors, suggest not to exceed Runtime.getRuntime().availableProcessors()
#canal.instance.parser.parallelThreadSize = 16
## disruptor ringbuffer size, must be power of 2
canal.instance.parser.parallelBufferSize = 256

# table meta tsdb info
canal.instance.tsdb.enable = true
canal.instance.tsdb.dir = ${canal.file.data.dir:../conf}/${canal.instance.destination:}
canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
canal.instance.tsdb.dbUsername = canal
canal.instance.tsdb.dbPassword = canal
# dump snapshot interval, default 24 hour
canal.instance.tsdb.snapshot.interval = 24
# purge snapshot expire , default 360 hour(15 days)
canal.instance.tsdb.snapshot.expire = 360

# aliyun ak/sk , support rds/mq
canal.aliyun.accessKey =
canal.aliyun.secretKey =

#################################################
######### 		destinations		############# 
#################################################
canal.destinations = example
# conf root dir
canal.conf.dir = ../conf
# auto scan instance dir add/remove and start/stop instance
canal.auto.scan = true
canal.auto.scan.interval = 5

canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml
#canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml

canal.instance.global.mode = spring
canal.instance.global.lazy = false
#canal.instance.global.manager.address = 127.0.0.1:1099
#canal.instance.global.spring.xml = classpath:spring/memory-instance.xml
canal.instance.global.spring.xml = classpath:spring/file-instance.xml
#canal.instance.global.spring.xml = classpath:spring/default-instance.xml

##################################################
######### 		     MQ 		     #############
##################################################
canal.mq.servers = 192.168.10.11:9092
canal.mq.retries = 2
canal.mq.batchSize = 16384
canal.mq.maxRequestSize = 1048576
canal.mq.lingerMs = 100
canal.mq.bufferMemory = 33554432
canal.mq.canalBatchSize = 50
canal.mq.canalGetTimeout = 100
canal.mq.flatMessage = true
canal.mq.compressionType = none
canal.mq.acks = all
# use transaction for kafka flatMessage batch produce
canal.mq.transaction = false
#canal.mq.properties. =

 2.2、instance.properties配置

案例参考：

#################################################
## mysql serverId , v1.0.26+ will autoGen
#此项ID不能和mysql配置中的server_id重复
canal.instance.mysql.slaveId=2

# enable gtid use true/false
canal.instance.gtidon=false

# position info
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=.*\\..*
# table black regex
canal.instance.filter.black.regex=

# mq config
canal.mq.topic=example
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#################################################

本机：

#################################################
## mysql serverId , v1.0.26+ will autoGen
#此项ID不能和mysql配置中的server_id重复
canal.instance.mysql.slaveId=2

# enable gtid use true/false
canal.instance.gtidon=false

# position info
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=testa.usera,testb.userb
# table black regex
canal.instance.filter.black.regex=

# mq config
canal.mq.topic=example
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#################################################

几点注意： 

  1. linux启动完成后，会在bin目录下生成canal.pid，stop.sh会读取canal.pid进行进程关闭
  2. startup.sh默认读取系统环境变量中的which java获得JAVA执行路径，需要设置PATH=$JAVA_HOME/bin环境变量

-------------   

    windows启动：(windows支持相对比较弱)

  startup.bat

    windows停止：直接关闭终端即可

2.3、测试

MySQl 更新一条数据，kafka中查看：

 

总结运行过程:

启动zookeeper、kafka、canal、flink

./zkServer.sh  start
./kafka-server-start.sh ../config/server.properties &
startup.bat  #
start-cluster.bat # windows启动

 

^果然好^
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Canal配置文件详解
zhou12314的专栏
03-28 1万+
conf\example\instance.properties ################################################# ## mysql serverId , v1.0.26+ will autoGen # canal.instance.mysql.slaveId=0 //每个instance都会伪装成一个mysql slave...
go-mysql-canal:数据库binlog监听，elasticsearch同步
03-28
`go-mysql-canal` 是一个基于 Go 语言实现的 MySQL 数据库 binlog 监听工具，它的主要功能是实时捕获并解析 MySQL 的二进制日志（binlog），然后将这些变化的数据同步到其他系统，如 Elasticsearch。在大数据处理和...
canal无法往kafka同步数据，日志无报错
雅冰石的专栏
03-23 1840
一 问题描述 发现同一个canal instance里，其中一个表操作可以正常同步到kafka，另一个表则不行。日志也没报错。 不能同步的表最近的操作有修改表结构（增加了一个字段）。 二 出错原因 binlog filter config配置得不正确: # binlog filter config canal.instance.filter.druid.ddl = true canal.instance.filter.query.dcl = true canal.instance.filter.q
【canal问题总结】线上canal问题排查：CanalParseException: column size is not match，parse row data failed
LangLang1111111的博客
05-22 792
原因：修改了canal.properties 想过滤出ddl dcl语句，防止doris实时同步读到ddl、dcl语句导致报错 想要过滤ddl dcl语句 canal.instance.filter.query.dcl = true canal.instance.filter.query.ddl = true 错误：canal读取不到ddl语句，导致字段个数对不上 2022-05-22 13:46:19.857 [destination = test , address = pay-partition-
表结构变更后，canal解析binlog日志报错问题处理
Z_Flank的博客
02-25 1131
因为在创建的instance的时候，配置项设置了 canal.instance.filter.query.ddl = true。需要将配置项设置：canal.instance.filter.query.ddl = false。
canal.instance.filter.query.dml含义介绍
雅冰石的专栏
03-23 2810
canal.instance.filter.query.dml过滤的不是传统意义上的增删改等操作，过滤的是binlog里被注释掉的原update sql语句(这个和mysql里的binlog_rows_query_log_events有关) 在row模式下..开启该参数,将把sql语句打印到binlog日志里面.默认是0(off); 虽然将语句放入了binlog,但不会执行这个sql,就相当于注释一样.但对于dba来说,在查看binlog的时候,很有用处. 网上说加之前binlog是这样记录的： #
com.xpand.starter-canal.jar
05-21
《Canal MySQL监听器资源包详解与数据同步实践》 在数据库管理中，实时的数据同步是一项重要的任务，尤其是在分布式系统中，确保多个数据库实例间的数据一致性至关重要。Canal，一个由阿里巴巴开源的、轻量级的数据...
starter-canal-1.0.0
08-06
"starter-canal-1.0.0" 是一个与阿里巴巴开源项目Canal相关的起步模块，主要用于简化Canal的集成过程。Canal是一个基于MySQL数据库binlog的增量数据订阅和消费组件，广泛应用于数据同步、实时数据接入等场景。在描述...
starter-canal-0.0.10SNAPSHOT
03-02
starter-canal-0.0.10SNAPSHOT
starter-canal-0.0.1-SNAPSHOT.jar
03-09
将打包好的jar献上，大家需要的话直接用即可，谢谢starter-canal-0.0.1-SNAPSHOT.jar
canal配置文件参数
qq_45798550的博客
04-16 930
文章目录canal.propertiesinstance.properties canal.properties 指一些实例instance公共的配置 ################################################# ######### common argument ############# ################################################# # tcp bind ip ca
mysql 二进制订阅神器 alibaba 的 Canal
LoveSummer
05-20 3324
Canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。阿里巴巴 B2B 公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所 以衍生出了同步杭州和美国异地机房的需求，从 2010 年开始，阿里系公司开始逐步的尝试 基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。 Canal 是用 Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。 目前。Canal 主要支持了 MySQL
canal使用指南（一）
imVainiycos的博客
12-22 7933
Canal的使用指南。实现一个简单纯净的client-service，暂时不接入mq。 文章目录一、什么是canal二、准备工作三、canal服务端搭建3.1 配置文件3.1.1 canal.properties3.1.2 instance 实例配置3.2 开始启动3.3 查看日志四、客户端实现 一、什么是canal canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务.
使用Canal实现MySQL的数据实时同步
热门推荐
Demon的博客
05-06 3万+
我们公司的架构大致如下： 途中会使用canal监听MySQL的binlog日志从而实现mysql的数据实时同步到redis和hdfs中。 第一步：开启MySQL的binlog日志 Mysql 的 binlog 日志作用是用来记录 mysql 内部增删等对 mysql 数据库有更新的内容的 记录(对数据库的改动)，对数据库的查询 select 或 show 等不会被 binlog 日志记录...
超详细的canal使用教程及如何通过Spring Boot整合canal优雅实现缓存一致性解决方案
最新发布
竹林幽深
09-08 1138
自有了缓存的那一天起，缓存与数据库数据一致性问题就一直伴随着后端开发者，所以如何保证数据库与缓存双写数据一致性也成为了面试的一个高频考点。对于缓存的更新肯定来自于业务的触发，且最终的逻辑处理数据是需要落库的，只是我们需要考虑的是先更新DB还是先更新缓存？是更新缓存还是删除缓存？在常规情况下，怎么操作都可以，但一旦面对高并发场景，就值得细细思量了。接下来我们就来分别看看先写数据库或者先写缓存有啥问题？这里我们假设我们的某个业务功能请求就是修改某个数据值先写 MySQL，再写 Redis。
canal安装配置与mysql操作监听，我已经帮你踩过了所有的坑
y2227605053的博客
11-26 5657
canal安装配置，我已经帮你踩过了所有的坑废话不再多说，直接撸代码第一步，canal配置第二步，mysql配置第三步，如何解决出现的错误 废话不再多说，直接撸代码 第一步，canal配置 打开canal/conf/example/instance.properties文件，配置如下 canal.instance.mysql.slaveId = 1234 canal.instance.gtidon...
Canal部署安装
anguoan的博客
11-14 891
Canal部署安装
线上canal问题排查：CanalParseException: column size is not match，parse row data failed
Kingsley's Blog
07-20 2782
一、背景现象 背景：公司flink任务出现问题，数据没有写入到结果库中。 于是立马去查看flink任务，在web页面，没有任何异常，没有exception，checkpoint也正常，反压也没有。 那问题就不出在我程序的问题上了。矛头直指环境问题 二、环境排查 首先去查看了flink的taskManager打印的日志，发现数据消费到了某一个时间段，后续就再也没有数据进来了。 说明数据没有到flink程序，所以源头就出了问题。 检查了一下 kafka，发现没有消息积压，而且消费速率也正常。 那么问题也不出在k
Canal 及canal.admin(v1.1.5)踩坑记录
weixin_42763067的博客
11-16 4325
网址：GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件 前期软件准备 上面的软件包(canal.deployer-1.1.5.tar.gz , canal.admin-1.1.5.tar.gz) zookeep mysql及开启binlog日志 [mysqld] lower_case_table_names=1 log-bin=mysql-bin # 开启 binlog binlog-format.
请用docker-compose部署canal-server主从
07-11
当然可以！以下是一个用docker-compose部署canal-server主从的示例： 首先，创建一个`docker-compose.yml`文件，并添加以下内容： ```yaml version: '3' services: canal-server-master: image: canal/canal-server container_name: canal-server-master ports: - 11111:11111 environment: - canal.admin.manager=false - canal.admin.port=11111 - canal.serverMode=tcp - canal.instance.mode=master - canal.mq.topic=example - canal.mq.partition=0 - canal.mq.dynamicTopic=example - canal.mq.retries=0 canal-server-slave: image: canal/canal-server container_name: canal-server-slave ports: - 22222:11111 environment: - canal.admin.manager=false - canal.admin.port=22222 - canal.serverMode=tcp - canal.instance.mode=slave - canal.instance.master.address=canal-server-master:11111 - canal.mq.topic=example - canal.mq.partition=0 - canal.mq.dynamicTopic=example - canal.mq.retries=0 ``` 然后，在终端中进入包含`docker-compose.yml`文件的目录，并运行以下命令启动容器： ```shell docker-compose up -d ``` 这将在后台启动两个容器，一个是`canal-server-master`，一个是`canal-server-slave`。Master实例监听端口11111，Slave实例监听端口22222。 现在，你可以通过访问`http://localhost

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值