canal 全量/增量数据同步说明

一、日志文件完整

1、全量数据同步

1、修改\canal.deployer-1.1.5\conf\example下的instance.properties

通过以下三个配置实现canal全量数据同步

# mysql日志文件
canal.instance.master.journal.name=mysql-bin.000001
# 获取日志的起始位置
canal.instance.master.position=0
# 获取日志的起始时间戳
canal.instance.master.timestamp=1632881068

更新instance.properties配置后，需要将同级目录的meta.dat删除，因为这个文件记录canal已经消费的位置等信息。

二、日志文件不完整

1、日志文件为空的

1.先将表数据导入从数据库中
2.再启动canal，通过canal增量同步

2、日志文件不为空的

1.通过\canal.deployer-1.1.5\conf\example\instance.properties的canal.instance.master.timestamp时间戳参数定位目前的备份时间

# 配置时间戳如下
canal.instance.master.timestamp=1632881068

2.将表数据导入到从数据库
3.启动canal，通过canal增量同步

三、定时全量同步

定时进行全量同步，确保数据的准确性

更多canal配置详解，可进行百度