FlinkCDC-自定义序列化器

最新推荐文章于 2025-10-20 15:14:13 发布

原创

最新推荐文章于 2025-10-20 15:14:13 发布 · 3.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #apache #mysql

该博客介绍了如何使用Flink结合Debezium实现MySQL binlog数据的解析和处理。内容涉及`CustomerBinlogDeserialization`类的实现，该类实现了DebeziumDeserializationSchema接口，用于将接收到的binlog数据转换为JSON字符串，包括数据库名、表名、操作类型以及变更前后的数据信息。

package com.lcy.app.customer;

import com.alibaba.fastjson.JSONObject;
import com.alibaba.ververica.cdc.debezium.DebeziumDeserializationSchema;
import io.debezium.data.Envelope;
import org.apache.flink.api.common.typeinfo.BasicTypeInfo;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.util.Collector;
import org.apache.kafka.connect.data.Field;
import org.apache.kafka.connect.data.Schema;
import org.apache.kafka.connect.data.Struct;
import org.apache.kafka.connect.source.SourceRecord;

import java.util.List;

public class CustomerBinlogDeserialization implements DebeziumDeserializationSchema<String> {
    /**
     * BINLOG格式：SourceRecord{
     *      sourcePartition={server=mysql_binlog_source},
     *      sourceOffset={file=mysql-bin.000003, pos=154, row=1, snapshot=true}}
     *      ConnectRecord{topic='mysql_binlog_source.gmall-210325-flink.user_info', kafkaPartition=null, key=Struct{id=3982},
     *      keySchema=Schema{mysql_b