【Flink实战系列】Flink 如何动态写入 kafka 的多个 topic

最新推荐文章于 2023-09-13 17:08:20 发布

JasonLee实时计算

最新推荐文章于 2023-09-13 17:08:20 发布

阅读量8k

点赞数 1

分类专栏： Flink 实战系列文章标签： flink

本文链接：https://blog.csdn.net/xianpanjia4616/article/details/105571388

版权

Flink 实战系列专栏收录该内容

69 篇文章 474 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了如何使用Flink根据数据中的字段动态将数据写入多个Kafka topic。通过KeyedSerializationSchema（已废弃）和KafkaSerializationSchema接口的实现，展示了将数据序列化并指定不同topic的方法。示例代码成功将数据写入了两个预设的topic。

摘要由CSDN通过智能技术生成

昨天在群里一个同学问了这样一个问题,Flink怎么根据数据里面的某个字段动态把数据写入多个kafka的topic.

其实这个问题非常简单,你肯定会想到说写多个sink就可以了,Flink确实也是支持多个sink的,但是他的需求是可能会写入上千个topic(我们这里不去讨论这个需求是否合理或者是否有这样的场景),我们肯定不可能会复制上千遍的代码.

那其实Flink提供了高阶的序列化模式,与FlinkKafkaConsumer类似，FlinkKafkaProducer提供了一个叫KeyedSerializationSchema的高级序列化模式的接口，这个模式允许分开地序列化key和value。同时允许重写目标topic，因此一个FlinkKafkaProducer可以发送数据到多个topic。

下面来看下KeyedSerializationSchema接口的源码

/** @deprecated */
@Deprecated
@PublicEvolving
public interface KeyedSerializationSchema<T> extends Serializable {
    byte[] serializeKey(T var1);


    byte[] serializeValue(T var1);


    String getTargetTopic(T var1);
}

可以看到这个接口里面有3个方法,可以分别对key,val