Flink CDC 2.1 正式发布，XTransfer技术专家贡献MongoDB CDC 连接器

最新推荐文章于 2024-07-12 14:44:15 发布

XTransfer技术

最新推荐文章于 2024-07-12 14:44:15 发布

阅读量1.9k

点赞数

文章标签： flink 数据库大数据

本文链接：https://blog.csdn.net/XTransfer_tech/article/details/121543308

版权

Flink CDC 2.1 版本发布，引入MongoDB CDC连接器，由XTransfer技术专家贡献。该连接器无需依赖Debezium，通过MongoDB集群的高可用机制获取oplog事件流，实现数据实时同步到Flink支持的下游存储。用户可通过简单Flink SQL捕获全量和增量变更数据，支持initial和latest-offset两种启动模式，并提供性能优化参数。

摘要由CSDN通过智能技术生成

近日，在社区开发者们共同努力下，Flink CDC 社区宣布 Flink CDC 2.1 正式发布。据悉，2.1 版本包含 23 位贡献者贡献的 100+ PR，重点提升了 MySQL CDC 连接器的性能和生产稳定性，重磅推出 Oracle CDC 连接器和 MongoDB CDC 连接器。其中，XTransfer 的技术专家Jiabao Sun贡献了MongoDB CDC 连接器，支持从 MongoDB 数据库获取全量历史数据和增量变更数据。

详解推出的MongoDB CDC 连接器

MongoDB CDC 连接器并不依赖 Debezium，是在 Flink CDC 项目里独立开发。MongoDB CDC 连接器支持捕获并记录 MongoDB 数据库中实时变更数据，其原理是伪装一个 MongoDB 集群里副本 [4]，利用 MongoDB 集群的高可用机制，该副本可以从 master 节点获取完整 oplog(operation log) 事件流。Change Streams API 则提供实时订阅这些 oplog 事件流的能力，可以将这些实时的 oplog 事件流推送给订阅的应用程序。