Flink1.11引入了CDC的connector,通过这种方式可以很方便地捕获变化的数据,大大简化了数据处理的流程。Flink1.11的CDC connector主要包括:MySQL CDC
和Postgres CDC
,同时对Kafka的Connector支持canal-json
和debezium-json
以及changelog-json
的format。本文主要分享以下内容:
-
CDC简介
-
Flink提供的 table format
-
使用过程中的注意点
-
mysql-cdc的操作实践
-
canal-json的操作实践
-
changelog-json的操作实践
简介
Flink CDC Connector 是ApacheFlink的一组数据源连接器,使用变化数据捕获change data capture (CDC)从不同的数据库中提取变更数据。Flink CDC连接器将Debezium集成为引擎来捕获数据变更。因此,它可以充分利用Debezium的功能。
特点
-
支持读取数据库快照,并且能够持续读取数据库的变更日志,即使发生故障,也支持exactly-once