openGauss学习笔记-315 openGauss 数据迁移-MySQL迁移-迁移MySQL数据库至openGauss-增量迁移

openGauss学习笔记-315 openGauss 数据迁移-MySQL迁移-迁移MySQL数据库至openGauss-增量迁移

315.1 功能介绍

增量迁移是指将mysql数据迁移期间（包括全量和增量迁移）产生的增量数据迁移至openGauss端。

315.2 原理简介

debezium mysql connector的source端，监控mysql数据库的binlog日志，并将数据（DDL和DML操作）以AVRO格式写入到kafka；debezium mysql connector的sink端，从kafka读取AVRO格式数据（DDL和DML操作），并组装为事务，在openGauss端按照事务粒度并行回放，从而完成数据（DDL和DML操作）从mysql在线迁移至openGauss端。由于该方案严格保证事务的顺序性，因此将DDL和DML路由在kafka的一个topic下，且该topic的分区数只能为1(参数num.partitions=1)，从而保证source端推送到kafka，和sink端从kafka拉取数据都是严格保序的。