Doris 数据集成 Flink CDC

Doris 数据集成 Flink CDC

Flink CDC 是基于数据库日志 CDC（Change Data Capture）技术的实时数据集成框架，支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现海量数据的实时集成。

Flink CDC 与数据同步面临的挑战

虽然 Flink CDC 有很多技术优势，社区用户增长很快，但随着 Flink CDC 项目用户基数的日益增长，以及应用场景的不断扩大，社区收到了很多用户反馈：

• 用户体验：只提供 Flink source，不支持端到端数据集成， SQL 和 DS API 构建作业流程复杂
• 维护频繁：上游数据库表结构变更非常常见 ，增加、删除表的业务需求普遍存在
• 扩展性：全量和增量阶段资源难以灵活扩缩容 ，千表同步、万表入湖入仓资源消耗大
• 中立性：项目使用 Apache License V2 协议，不属于 Apache Flink ，版权归属于 Alibaba (Ververica)

针对这些反馈，社区的 Maintainer 也在思考在 Flink CDC 的不足，思考 CDC 乃至数据集成领域面临的技术挑战：

• 历史数据规模大：数据库的历史数