[openGauss]反向迁移gs_replicate

反向迁移gs_replicate

特性简介

支持openGauss的增量数据在线迁移至MySQL。

客户价值

反向迁移是指用户将源端数据库迁移到目标数据库，应用切到目标数据库后，再将目标端新产生的数据迁移回源端。反向迁移可满足用户业务迁移逃生的诉求，保持源端、目标端两个库并行运行，在目标端数据库出问题后应用能及时切回源端数据库。

特性描述

debezium opengauss connector的source端，监控openGauss的xlog日志，并将数据的DML操作以AVRO格式写入到kafka；

debezium opengauss connector的sink端，从kafka读取AVRO格式的数据，在mysql端按表并行回放，从而完成数据的DML操作从openGauss在线迁移至mysql。

特性增强

• 反向迁移支持迁移进度与回放失败的SQL语句实时上报。
• 反向迁移支持断点续传功能，可满足工具中断重启后数据持续迁移，中断期间的增量数据不遗漏。
• 反向迁移支持jdbc超时重连机制，可在jdbc断连后自动重连，用户无感知。
• 反向迁移支持用户自定义是否在迁移结束后保留逻辑复制槽，若保留逻辑复制槽则可实现断点续传功能。
• 反向迁移增加流量控制能力，可在迁移大批量增量数据时触发流量控制，防止系统崩溃。

特性约束

1. 日志级别的guc参数wal_level = logical。
2. 仅限能进行逻辑复制的用户进行操作。
3. 不支持DDL操作迁移。
4. 在需要ssl连接的场景，需要前置条件保证guc参数ssl = on。
5. 不允许多个库使用同一个逻辑复制槽。
6. 禁止在使用逻辑复制槽时在其他节点对该复制槽进行操作，可通过参数slot.drop.on.stop控制是否在工具退出时删除逻辑复制槽。

依赖关系

依赖逻辑复制与发布订阅。

参考文档

开源社区地址：gs_rep_portal

详细参考文档： README.md

反向迁移社区地址：gs_replicate

详细参考文档： README.md

详情查看：https://opengauss.org
详情查看：https://docs-opengauss.osinfra.cn