Flink CDC

最新推荐文章于 2024-08-07 06:00:00 发布

编程小飞侠

最新推荐文章于 2024-08-07 06:00:00 发布

阅读量1.5k

点赞数 26

分类专栏： cdc 文章标签： flink

本文链接：https://blog.csdn.net/weixin_45703155/article/details/138400277

版权

cdc 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一. CDC与Flink CDC区别：

CDC（Change Data Capture）：这是一种技术，用于捕获数据库中的数据变更（例如插入、更新、删除操作），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC通常是通过轮询数据库事务日志或使用数据库特定的触发器来实现的。

Flink CDC（Apache Flink Change Data Capture）：Flink是一个流处理引擎，Flink CDC是指利用Apache Flink框架来实现数据变更捕获的技术（即用Apache Flink这个流处理框架来实现CDC的技术）。FlinkCDC是一个开源的数据库变更日志捕获和处理框架，它可以实时地从各种数据库(如MySQL、PostgreSQL、Oracle、MongoDB等)中捕获数据变更并将其转换为流式数据,FlinkCDC 可以帮助实时应用程序实时地处理和分析这些流数据，从而实现数据同步、数据管道、实时分析和实时应用等功能。它可以实时地捕获数据源中的变更，并将这些变更推送到目标系统或进行实时分析处理。Flink 社区开发了 flink-cdc-connectors 组件，这是一个可以直接从 MySQL、PostgreSQl等数据库直接读取全量数据和增量变更数据的source 组件。开源地址：https://github.com/ververica/flink-cdc-connectors

主要区别：在于实现的方式和技术栈。CDC是一种通用的数据管理技术，而Flink CDC是特定利用Apache Flink框架实现的数据变更捕获技术。 Flink CDC提供了更高级的功能，如实时处理和流式数据分析，适用于需要处理大规模实时数据的场景。

二.CDC实现方式：

基于触发器的CDC：在表上创建触发器，当数据发生更改时，触发器会将更改的数据记录到其他系统或表中。
基于事务日志的CDC：通过读取数据库事务日志，将日志中的更改记录解析为可操作的数据。这种方法通常用于增量备份和恢复。
基于游标的CDC：在数据库中使用游标，逐行处理数据更改，并将这些更改应用于其他系统或表。
基于时间戳的CDC：为表中的每个数据行分配一个时间戳，当数据发生更改时，更新相应的时间戳。然后，可以使用时间戳来识别和处理数据更改。
基于消息队列的CDC：将数据更改作为事件发送到消息队列，以便其他系统或应用程序可以订阅和处理这些事件。

CDC主要分为基于查询和基于Binlog两种方式：
在这里插入图片描述

三.CDC原理与机制：

	Debezium 和 Canal 是目前最流行使用的 CDC 工具，这些 CDC 工具的核心原理是抽取数据库日志获取变更。目前 Debezium (支持全量、增量同步，同时支持 MySQL、PostgreSQL、Oracle 等数据库)，使用较为广泛。Flink SQL CDC 内置了 Debezium 引擎，利用其抽取日志获取变更的能力，将changelog 转换为 Flink SQL 认识的 RowData 数据。Debezium的数据格式如下：

在这里插入图片描述
通过 Debezium 采集的数据，包含了旧数据(before)和新数据行(after)以及原数据信息(source)，op 的 u 表示是update 更新操作标识符（op 字段的值 c，u，d，r 分别对应 create，update，delete，reade），ts_ms 表示同步的时间戳。