flink cdc
1.Flink CDC
1.CDC 是什么
CDC是Change Data Capture(变更数据获取),CDC是Change Data Capture(变更数据获取)。
2. CDC的种类
CDC主要分为基于查询和基于Binlog两种方式,我们主要了解一下这两种之间的区别:
sqoop 查询数据sql 获取数据。
3.Flink-CDC
这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。目前也已开源,开源地址:https://github.com/ververica/flink-cdc-connectors
https://ververica.github.io/flink-cdc-connectors/master/content/about.html#usage-for-datastream-api