【Flink实战系列】为什么不建议用 JSONKeyValueDeserializationSchema 反序列化

最新推荐文章于 2023-04-16 16:14:10 发布
置顶 最新推荐文章于 2023-04-16 16:14:10 发布
阅读量2.5k 收藏 4
点赞数 2
分类专栏： Flink 实战系列 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianpanjia4616/article/details/108420596
版权

上一篇文章中在反序列化kafka的数据时候用的是KafkaDeserializationSchema,因为我要获取kafka的元数据信息,有同学问我说为什么不直接用Flink自带的JSONKeyValueDeserializationSchema呢? 这个也可以获取到kafka的元数据信息啊,而且使用起来也非常的简单,JSONKeyValueDeserializationSchema 确实可以获取到kafka的元数据信息,但是它有一些限制,下面我们来分析一下源码你就明白了.

JSONKeyValueDeserializationSchema 源码解析

在这里插入图片描述

从上面的图中可以看到 JSONKeyValueDeserializationSchema 这个类也实现了 KafkaDeserializationSchema 这个接口,然后重写了 deserialize isEndOfStream getProducedType 这个三个方法. 下面就来看下 JSONKeyValueDeserializationSchema 类的源码实现

/*
 * Licensed to the Apache Software Foundation (ASF) under one or more
 * contributor license agreements.  See the NOTICE file distributed w
了解本专栏 订阅专栏 解锁全文 超级会员免费看
JasonLee实时计算
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
Flink反序列化之JsonDeserializationSchema和JSONKeyValueDeserializationSchema
qq_44962429的博客
12-27 1万+
1、引言 Flink Kafka的使用者需要知道如何将Kafka中的二进制数据转换为Java / Scala对象，大多数的程序员都会使用new SimpleStringSchema()来反序列化Kafka中的数据，然后使用alibaba提供的fastJson来解析数据，虽然这样可以实现业务的需求，但是存在很多不确定的因素。比如由于业务的原因，接受的json数据字段不稳定，有的数据多一个字段，有的业...
flink入门之使用JSONKeyValueDeserializationSchema反序列kafka消息
bradyM的博客
03-31 4611
背景需求 在日常生产中，我们大多数时候都会用到flink的kafka connector，在使用过程中，大多数的程序员都会使用new SimpleStringSchema()来反序列化Kafka中的数据，然后使用alibaba提供的fastJson来解析数据 例如： val jsonObject = JSON.parseObject(jsonStr) val eventId = JSON....
Flink 消费kafka 自定义KafkaDeserializationSchema
qq_36470898的博客
02-07 2281
kafka中的数据通常是键值对，所以我们自定义反序列化从kafka中消费键值对的消息 实现需求： 读取多个topic数据进行不同处理输出，这里就需要自定义反序列化从kafka消费数据，然后分别处理。 效果 数据格式 转换后效果： 代码 自定义反序列化类 class LogDeserializationSchema extends KafkaDeserializationSchema[TopicBean] { // 是否最后一条数据，流是无界的 override def isEndO.
Flink消费Kafka:自定义KafkaDeserializationSchema
kiwi198709的博客
01-17 8285
一、pom文件中添加依赖： <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> ...
Flink操作json数据
盛源的博客
03-02 5837
1 kafka中的json数据 关键词：json、嵌套、复杂结构、Map、Array、Row 1. Flink SQL 解析嵌套的 JSON 数据_JasonLee_后厂村程序员-CSDN博客 2 内置json函数 1. 官方文档 ​​​​​​​System (Built-in) Functions | Apache Flink 2. 函数使用 JSON_VALUE('{"a":}', '$.a') --> null JSON_VALUE('{"a":""}', '$.a')..
flink-kafka 反序列化例子
最新发布
04-11
flink 的版本为 1.14.6； kafka 的版本为 kafka_2.12-2.6.3； 作为案例，介绍如何序列化 并进行相关条件判定。
Flinkcdc监测mysql数据库，自定义反序列化，利用flinkApi和flinkSql两种方式
04-05
在这个场景下，我们将深入探讨如何使用Flink CDC来监测MySQL数据库，并且实现自定义反序列化，以及如何通过Flink API和Flink SQL两种方式进行数据处理。 首先，让我们理解什么是CDC。CDC是一种数据库复制技术，它...
flinkcdc-mysql自定义反序列化器.pdf
12-16
例如，我们可以使用自定义反序列化器来处理不同的数据库类型，或者将数据转换为不同的格式，以适应不同的下游系统。此外，自定义反序列化器还可以用于实现数据的实时处理和分析。 自定义反序列化器是Flink CDC的一...
Flink实战项目（电力行业真实项目）
03-18
主要功能是基于Flink从kafka消费数据，并做avro反序列化、解析、统计等，最后结果数据发送到redis或者influxdb(时序数据库)。另外我提供Flink答疑服务，帮助大家快速理解项目和Flink入门，如有需要可添加微信：z...
flink道路监控系统实战项目
05-07
在本项目中，我们主要探讨的是“flink道路监控系统实战”，这涉及到大数据技术的运用，特别是Apache Flink这一实时流处理框架。Flink作为大数据领域的重要工具，它以其高效、低延迟和高容错性著称，尤其适用于处理...
Java中boolean默认值与Boolean默认值
segegefe的博客
05-17 8983
boolean默认值是false Boolean默认值是null
#5 Java包含的数据类型
KKK561的博客
10-11 280
Java包含的数据类型 Java中的数据类型：基本类型和引用类型 基本数据类型（primitive type）包括： –布尔类型：boolean –整数类型：byte（8位），short(16位)， int （32位） ， long（64位） –浮点类型：float，double –字符类型：char （16位，使用Unicode字符集） 引用类型（reference type）包括： –class(类) –interface（接口） –数组 基本数据类型特点： #1 布尔类型：布尔型常量只有两个值——tu
Elasticsearch设置账号密码
huas_xq的专栏
03-18 4965
Elasticsearch设置账号密码
VScode 配置 Java 开发环境 (VSCode 天下第一)
segegefe的博客
05-17 1198
VScode 配置 Java 环境 1. 下载 JDK 方式一：手动下载 JDK Oracle Java SE AdoptOpenJdk Azul Zulu for Azure - Enterprise Edition 方式二： VSCode 中下载 JDK 下载 JAVA 插件扩展 方式一: windows平台下可以直接访问这个地址 直接下载带有 java插件的 vscode 方式二: 在vscode中下载以下插件 Language Support for Java by Red Hat Debug
Express框架学习记录一：Express框架基础使用
吮指原味鸡的博客
02-19 1690
Express框架一、什么是Express框架二、安装Express三、框架的使用1.根据请求地址返回给前端内容2.中间件3.use中间件4.中间件的作用5.更改状态码6.捕获错误的错误处理中间件7.构建模块化路由Router8.获取get请求附带的参数9.获取post请求附带的参数10.路由占位参数11.静态资源访问功能12.express的模板引擎13.locals对象 一、什么是Express框架 基于Node的一个框架，封装了读取html文件、css文件的操作，直接返回封装好的内容，让开发人员更加注
mysql workbench 导出查询结果_MySQL Workbench查询结果导出步骤
weixin_39634508的博客
01-19 1817
MySQL Workbench查询结果导出步骤发布时间：2020-05-19 16:16:31来源：PHP中文网阅读：202作者：三月本文主要给大家介绍MySQL Workbench查询结果导出步骤，文章内容都是笔者用心摘选和编辑的，具有一定的针对性，对大家的参考意义还是比较大的，下面跟笔者一起了解下MySQL Workbench查询结果导出步骤吧。步骤:1、运行查询2、单击“Results Gr...
Linux基础第八章补充：编译安装Apache服务、systemctl管理服务及编译安装配置文件安装实现systemctl管理服务
云计算之路
11-29 1745
本文详细讲解并实操如何编译安装Apache服务，并通过添加配置文件实现通过systemctl命令管理编译安装的服务。
Shiro身份认证(principals-credentials)
沐沐
11-03 3905
身份认证        在shiro中，用户需要提供principals （身份）和credentials（证明）给shiro，从而应用能验证用户身份. principals:身份即主体的标识属性,可以是任何东西.如用户名,邮箱等.唯一即可.一个主体可以有多个principals，但只有一个Primary principals，一般是用户名/密码/手机号。 credentials:证明/凭证，即只有
Flink DataStream Kafka 序列化 JSONKeyValueDeserializationSchema
SmartSi
04-16 267
在我们在使用 Flink Streaming Kafka Connector 从 Kafka 中读取时，一般会采用 SimpleStringSchema 来反序列化 Kafka 中的数据。如果是 Kafka 中的数据是 JSON 格式，然后采用 Gson 或者 FastJson 来解析数据。除了使用这种方式之外，Flink 为我们内置实现了一个 KafkaSerializationSchema 来帮我们解析 Kafka 中的 JSON 格式数据，即 JSONKeyValueDeserializa
flink从kafka消费是需要序列化还是反序列化
07-14
在Flink中从Kafka消费数据时，需要进行反序列化操作。...这些反序列化器将字节数组转换为相应的数据对象，以便Flink可以对其进行进一步的转换和处理。因此，在Flink中从Kafka消费数据时，反序列化操作是必需的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JasonLee实时计算

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值