Canal数据库同步组件

一、启动Canal server,模拟mysql-slave,监听binlog

https://github.com/alibaba/canal/wiki/QuickStart

二、Canal Client

https://github.com/alibaba/canal/wiki/ClientExample

三、Canal 原理配置与配置实践

https://www.iteye.com/blog/shift-alt-ctrl-2399603

https://blog.csdn.net/fcly2013/article/details/79430484

四、Canal接到消息可以推送到MQ,提高Canal的性能。

注意:1 保证有序性。(a->c 性能提高)

           a.所用接收到的binlog数据推送到同一MQ。

           b.保证同一个table的binlog数据推送到同一MQ。

           c.保证同一主键的binlog数据推送到同一MQ。

五、同时启动多个Canal server,分治提高性能

Canal server中可以配置server监听的table,可以启动多个server,各自监听不同的table分担压力。

#table regex 
canal.instance.filter.regex = .\*\\\\..\*

六、设置监听起点

mysql链接时的起始位置(instance.properties) 

  • canal.instance.master.journal.name + canal.instance.master.position : 精确指定一个binlog位点,进行启动。配置与BUG说明:https://blog.csdn.net/weixin_34113237/article/details/92375414
  • canal.instance.master.timestamp : 指定一个时间戳,canal会自动遍历mysql binlog,找到对应时间戳的binlog位点后,进行启动
  • 不指定任何信息:默认从当前数据库的位点,进行启动。(show master status)

七、通过ZK实现HA高可用配置

配置方案:https://blog.csdn.net/flyawayjh/article/details/80990221 

配置项说明:https://www.cnblogs.com/niwa/p/11060263.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Canal是阿里巴巴开源的一款数据库增量订阅&消费组件,支持MySQL、PostgreSQL和阿里云DRDS等数据源的增量数据订阅。它通过监听数据库的binlog日志,将数据变更事件解析成Java对象,然后以异步的方式传输到消息队列中,从而实现了数据的增量同步。 Canal具有以下特点: 1. 高性能:采用Netty异步网络框架,支持高并发。 2. 稳定性:经过阿里巴巴业务的考验,具有良好的稳定性。 3. 可靠性:支持数据过滤、数据转换、事务同步等功能,保证数据的完整性。 4. 扩展性:支持插件机制,方便用户自定义功能。 5. 易用性:提供了简单易用的API和管理界面,方便用户使用和管理。 Canal的使用流程如下: 1. 安装Canal Server,配置数据库信息和监听的表信息。 2. 启动Canal Server,监听数据库的binlog日志。 3. 客户端连接Canal Server,订阅数据变更事件。 4. Canal Server将数据变更事件以异步的方式传输到消息队列中。 5. 客户端从消息队列中消费数据变更事件,进行数据同步。 Canal支持多种消息队列,包括Kafka、RocketMQ、RabbitMQ等,用户可以根据自己的需求选择合适的消息队列进行数据同步。 总之,Canal是一款非常优秀的数据库增量订阅&消费组件,具有高性能、稳定性、可靠性、扩展性和易用性等优点,可以为用户提供高效、可靠、灵活的数据同步方案。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值