本方案的技术链路为:使用 Flink CDC 将 MySQL 的 CDC 数据 (Json 格式)接入到 Kafka ,然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。文本是本博客 CDC 数据入湖系列方案中最为基础的一套,技术堆栈较为简单,适合作为 POC 方案快速搭建 CDC 实时处理链路。如果寻求更适合生产环境的高阶解决方案,请参考:
CDC 数据入湖方案:Flink CDC > Kafka > Hudi
于 2024-02-20 11:27:20 首次发布
本文介绍了一种使用Flink CDC从MySQL抓取数据,通过Kafka作为中间层,最终将数据写入Hudi湖的实时处理方案。详细步骤包括环境准备、Flink CDC源表创建、Kafka中间表创建、Hudi目标表创建,并提供了相关资源链接以供参考。
摘要由CSDN通过智能技术生成