【Flink】FlinkCDC自定义反序列化器

最新推荐文章于 2024-04-05 23:55:27 发布

一杯咖啡半杯糖

最新推荐文章于 2024-04-05 23:55:27 发布

阅读量702

点赞数

分类专栏： Flink实战文章标签： flink java

本文链接：https://blog.csdn.net/sinat_23225111/article/details/132875605

版权

Flink实战专栏收录该内容

95 篇文章 136 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在使用Flink CDC采集MySQL数据时，通过自定义反序列化器来格式化输出数据，以便于后续处理。文章提供了一个具体的maven项目配置示例，展示了自定义反序列化器的实现代码，并展示了转换后的JSON格式数据，简化了数据提取和解析的难度。

摘要由CSDN通过智能技术生成

在我们用FlinkCDC采集mysql数据（或其他数据源）的时候，FlinkCDC输出的格式不标准，不利于我们后续做数据处理，我们通常会使用自定义反序列化器来格式化采集数据方便后续处理

常规的反序列化器如下：

public class FlinkDataStreamCDC {

    public static void main(String[] args) throws Exception {
        //1.获取Flink 执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        //2.通过FlinkCDC构建SourceFunction
        DebeziumSourceFunction<String> sourceFunction = MySqlSource.<String>builder()
                .hostname("192.168.0.0")
                .port(3306)
                .username("username")
                .password("password")
                .databaseList("cdc")