达梦8数据库使用canal adapter配置同步MySQL的方案

最新推荐文章于 2024-08-23 11:26:19 发布

typ2004

最新推荐文章于 2024-08-23 11:26:19 发布

阅读量3.3k

点赞数

分类专栏：数据库文章标签： Canal 达梦 MySQL 同步

本文链接：https://blog.csdn.net/typ2004/article/details/108518860

版权

本文介绍了如何使用Canal Adapter将MySQL数据库的变更同步到达梦数据库DM8。配置涉及Canal的各个组件如deployer、adapter、admin，并提供了详细的server和instance.properties配置示例，强调了DM8的大小写敏感特性以及库和用户创建的要求。

摘要由CSDN通过智能技术生成

canal是阿里巴巴抽取同步 MySQL binlog 的开源工具，有cannel deployer、adapter、admin等多个组件。

开源地址见： https://github.com/alibaba/canal/releases

参考：https://blog.csdn.net/u014730658/article/details/108399658

参考：https://blog.csdn.net/q936889811/article/details/95745721

其中，deployer是起个instance冒充slave，负责接收master发来的binlog并将binlog信息抛到指定的mq，kafka等。

adapter可以向上对接depolyer，向下对接各种数据库，包括关系型，以及ElasticSearch、Hbase等。

admin是instance、server管理端。

本文主要介绍adapter如何对接DM8。

一、配置

server配置如下：

# tcp bind ip
canal.ip =
# register ip to zookeeper
canal.register.ip =
canal.port = 11111
canal.metrics.pull.port = 11112
# canal instance user/passwd
# canal.user = canal
# canal.passwd = E3619321C1A937C46A0D8BD1DAC39F93B27D4458

# canal admin config
#canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441

canal.zkServers =
# flush data to zk
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
# tcp, kafka, RocketMQ
canal.serverMode = tcp

# flush meta cursor/parse position to file
canal.file.data.dir = ${canal.conf.dir}
canal.file.flush.period = 1000
## memory store RingBuffer size, should be Math.pow(2,n)
canal.instance.memory.buffer.size = 16384
## memory store RingBuffer used memory unit size , default 1kb
canal.instance.memory.buffer.memunit = 1024
## meory store gets mode used MEMSIZE or ITEMSIZE
canal.instance.memory.batch.mode = MEMSIZE
canal.instance.memory.rawEntry = true

## detecing config
canal.instance.detecting.enable = false
#canal.instance.detecting.sql = insert into retl.xdual values(1,now()) on duplicate key update x=now()
canal.instance.detecting.sql = select 1
canal.instance.detecting.interval.time = 3
canal.instance.detecting.retry.threshold = 3
canal.instance.detecting.heartbeatHaEnable = false

# support maximum transaction size, more than t