Flink CDC(Change Data Capture)是基于数据库的日志CDC技术,实现了全增量一体化读取的数据集成框架,可以高效地实现海量数据的实时集成。
Flink CDC是一种功能强大、灵活易用的数据集成框架,适用于多种实时数据处理场景。
一、定义与原理
- 定义:Flink CDC是一种用于捕获和处理数据源中变化的流处理技术。
- 原理:监测并捕获数据库的变动(增删改等),将这些变更按发生的顺序捕获,并传输到数据仓库、数据湖或消息队列(如Kafka)中供其他服务消费。
二、实现机制与特点
- 实现机制: