CDC主流工具对比

最新推荐文章于 2024-07-25 17:10:18 发布

人未归

最新推荐文章于 2024-07-25 17:10:18 发布

阅读量4.3k

点赞数

分类专栏：大数据 java 技术文章标签：数据库

本文链接：https://blog.csdn.net/fanliunian/article/details/112848341

版权

本文探讨了在数据库同步需求下，为何选择RedHat的开源工具Debezium。对比了Debezium、GoldenGate和DataPipeline，讨论了支持的数据源、目标类型和主要功能。最终决定在PostgreSQL到PostgreSQL的同步中使用Pglogical，而在其他场景中使用Debezium结合Kafka和自开发消费端。同时，文章还介绍了Debezium的抽取原理，基于PostgreSQL的logical decoding功能实现逻辑流复制。

摘要由CSDN通过智能技术生成

Debezium能做什么

RedHat开源的Debezium是一个将多种数据源实时变更数据捕获，形成数据流输出的开源工具。
它是一种CDC（Change Data Capture）工具，工作原理类似大家所熟知的Canal, DataBus, Maxwell等，是通过抽取数据库日志来获取变更的。
官方介绍为：

Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps commit to your databases. Debezium is durable and fast, so your apps can respond quickly and never miss an event, even when things go wrong

为什么选择Debezium

笔者所在公司以PostgreSQL为源的实时同步需求较多。在对比各项同步工具之前，先来看看具体业务。

业务场景1：系统去O
要求使用PostgreSQL替换Oracle，使用GoldenGate搭建Oracle到PostgreSQL正向实时同步链路，待数据追平，将业务切换到PostgreSQL库，达成去O目的。若系统切换到PostgreSQL后存在问题，需要工具搭建PostgreSQL到Oracle的回退链路

业务场景2：不同BU子系统之间协作</