FlinkCDC解读

最新推荐文章于 2024-07-12 14:44:15 发布

爱学习的菜鸟罢了

最新推荐文章于 2024-07-12 14:44:15 发布

阅读量2.8k

点赞数 3

分类专栏： flink 大数据文章标签：大数据 flink

本文链接：https://blog.csdn.net/qq_34387470/article/details/117321021

版权

本文深入解读Apache Flink的CDC Connector，介绍如何使用表/SQL API和DataStream API进行数据捕获，涵盖Postgres CDC、Kafka Connectors，并提供MySQL CDC的配置示例。Flink CDC支持数据库快照和变更日志持续读取，实现Exactly-once语义。

摘要由CSDN通过智能技术生成

FlinkCDC

因为一直没有一个详尽的解读我就自己做一篇

·https://github.com/apache/flink·

官网

·https://github.com/ververica/flink-cdc-connectors·

官方论坛

·Flink SQL CDC 实践以及一致性分析·2021-03-10 ·https://mp.weixin.qq.com/s/tE70jJO6pZTe6oB0fKcZkQ·

·Flink 如何实时分析 Iceberg 数据湖的 CDC 数据·2021-02-23 ·https://mp.weixin.qq.com/s/18ZA_DuAyvafl3k9lhJnVA·

·基于 Flink SQL CDC 的实时数据同步方案·2020-11-02 ·https://mp.weixin.qq.com/s/QNJlacBUlkMT7ksKKSNa5Q·

·Flink SQL CDC 上线！我们总结了 13 条生产实践经验·2020-09-04 ·https://mp.weixin.qq.com/s/Mfn-fFegb5wzI8BIHhNGvQ·

·Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据·2020-08-28 ·https://mp.weixin.qq.com/s/HaSi4E1Ez4jV06RWAQ2wAQ·

WIKI

·https://github.com/ververica/flink-cdc-connectors/wiki/Downloads·

·https://github.com/ververica/flink-cdc-connectors/wiki/%E4%B8%AD%E6%96%87%E6%95%99%E7%A8%8B·

简介
Flink CDC Connector 是ApacheFlink的一组数据源连接器，使用变化数据捕获change data capture (CDC)）从不同的数据库中提取变更数据。Flink CDC连接器将Debezium集成为引擎来捕获数据变更。因此，它可以充分利用Debezium的功能。

特点
1 支持读取数据库快照，并且能够持续读取数据库的变更日志，即使发生故障，也支持exactly-once 的处理语义

2 对于DataStream API的CDC connector，用户无需部署Debezium和Kafka，即可在单个作业中使用多个数据库和表上的变更数据。

3 对于Table/SQL API 的CDC connector，用户可以使用SQL DDL创建CDC数据源，来监视单个表上的数据变更。