【Flink实战系列】通用的反序列化类把 JSON 转成 POJO 对象

最新推荐文章于 2022-09-27 16:13:16 发布

置顶 JasonLee实时计算

最新推荐文章于 2022-09-27 16:13:16 发布

阅读量3.7k

点赞数 2

分类专栏： Flink 实战系列文章标签： flink

本文链接：https://blog.csdn.net/xianpanjia4616/article/details/112970428

版权

Flink 实战系列专栏收录该内容

69 篇文章 474 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了如何通过泛型实现一个通用的Flink反序列化类，将Kafka中的JSON数据转换为POJO对象。文章讨论了背景与痛点，如避免重复编写反序列化类，并探讨了如何获取Kafka的元数据信息，特别是数据写入时间戳。通过实现KafkaDeserializationSchema接口并理解ConsumerRecord源码，作者提供了具体实现方案，并在Flink中展示了使用方式。

摘要由CSDN通过智能技术生成

背景 & 痛点

1, Flink 在消费到 kafka 的数据后,我们经常会把数据转成 POJO 对象,方便后面对数据的处理,但是每个人 POJO 类型是不一样的,每次都需要新开发一个反序列化的类,这样会带来大量的重复代码.能不能实现一个通用的反序列类来解决这个问题?

2, 如何获取到 kafka 的元数据信息? 比如我有这样的需求,一个 Flink 任务消费了多个 topic 的数据后面要根据不同的 topic 名称做不同的处理逻辑,再比如我需要获取到数据写入 kafka 的时间戳,做全链路的延迟监控.那该如何获取数据写入 kafka 的时间戳?

解决方案

我们可以利用 java 的泛型实现 KafkaDeserializationSchema 这个接口从而实现一个通用的泛型类来解决这个问题.

KafkaDeserializationSchema 源码

@PublicEvolving
public interface KafkaDeserializationSchema<T> extends Serializable, ResultTypeQueryable<T> {

 /**
  * Initialization method for the schema. It is called before the actual working methods
  * {@link #deserialize} and thus suitable for one time setup work.
  *
  * <p>The provided {@link De