【Flink】TypeInfo Flink类型系统TypeIinformation

已于 2024-01-10 11:19:04 修改
阅读量449 收藏 2
点赞数
分类专栏： 大数据-flink 文章标签： flink TypeInfo 类型 类型系统
于 2021-04-28 21:46:37 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/116095425
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了Flink的类型系统，包括基本类型、POJO规则、Tuple、辅助类型和泛型等，强调了POJO类型的使用和检查方法。同时，文章讨论了Flink如何处理不同类型，如自定义序列化、Kryo序列化，以及可能出现的问题和解决方案，如注册子类型和禁用Kryo。最后，提到了TypeInformation在Flink中的作用及其创建方法。
摘要由CSDN通过智能技术生成

文章目录

1.世界

在这里插入图片描述

2.概述

在内部，Flink在类型之间分类：

基本类型：所有的Java基本类型和装箱类型以及void，String，Date，BigDecimal，和BigInteger。

基元数组和对象数组：

复合类型：

​ Flink Java Tuples（Flink Java API的一部分）：最多25个字段，不支持空字段

​ Scala Case Class（包括Scala元组）：最多22个字段，不支持空字段

​ Row：具有任意数量字段的元组并支持空字段

​ POJO：遵循某种类似bean的模式的类

辅助类型（选项，任一，列表，Map，…）

泛型类型：这些不会被Flink自带的序列化器进行序列化，但是可以通过Kryo来进行
POJO非常有意思，

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Flink DataStream 类型系统 TypeInformation
SmartSi
04-21 2269
Flink DataStream 应用程序所处理的事件以数据对象的形式存在。函数调用时会传入数据对象，同时也可以输出数据对象。因此，Flink 在内部需要能够处理这些对象。当通过网络传输或者读写状态后端、检查点以及保存点时，需要对它们进行序列化和反序列化。为了能够更高效的做到这一点，Flink 需要详细了解应用程序处理的数据类型。Flink 使用类型信息的概念来表示数据类型，并为每种数据类型生成特定的序列化器、反序列化器以及比较器。 此外，Flink 还有一个类型提取系统，可以分析函数的输入和返回类型来自动
Flink - TypeInformation
weixin_34119545的博客
01-17 2907
Flink 自己创建一套独立的类型系统， 参考， https://ci.apache.org/projects/flink/flink-docs-release-0.10/internals/types_serialization.html 为何要自己搞一套，而不像其他的平台一样让编程语言或serialization framework来天然做掉？ Flink tries to know a...
Flink流处理API之environment And Source
all_light的博客
11-22 248
Flink流处理API flink API主要分为四个模块：environment， source，transform，sink environment getExecutionEnvironment 会根据执行的方式底层调用下面两种方式创建对应的环境： createLocalEnvironment和createRemoteEnvironment，分别为创建本地和远程的执行环境 source source分为四种：从集合读取数据，从文件读取数据，从kafka中消费数据，自定义source 从
Flink 数据类型 & TypeInformation信息
程序猿进阶
12-18 4700
除了使用已有的所定义的数据格式类型之外，用户也可以自定义实现，来满足的不同的数据类型定义需求。Flink提供了可插拔的让用户将自定义的注册到Flink类型系统中。如下代码所示只需要通过实现接口，返回相应的类型信息。通过@TypeInfo注解创建数据类型，定义数据类型。然后定义类继承于，参数类型指定。最后重写方法，创建的就是数据类型。@Override。
oracle timestamp java类型_Flink进阶教程：数据类型和序列化机制简介
weixin_39733812的博客
12-17 642
几乎所有的大数据框架都要面临分布式计算、数据传输和持久化问题。数据传输过程前后要进行数据的序列化和反序列化：序列化就是将一个内存对象转换成二进制串，形成网络传输或者持久化的数据流。反序列化将二进制串转换为内存对象，这样就可以直接在编程语言中读写和操作这个对象。一种最简单的序列化方法就是将复杂数据结构转化成JSON格式。序列化和反序列化是很多大数据框架必须考虑的问题，在Java和大数据生态圈中，已有...
Flink 数据类型和序列化
hhhhhhfq的博客
04-06 943
为 Flink 量身定制的序列化框架 为什么要为 Flink 量身定制序列化框架？ 大数据生态中大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 JVM 上，基于 JVM 的数据分析引擎都需要将大量的数据存储在内存中，这就不得不面临 JVM 的一些问题，比如 Java 对象存储密度较低等。针对这些问题，最常用的方法就是实现一个显式的内存管理，也就是说用自定义的内存池来进行内存的分配回收，接着将序列化后的对象存储到内存块中。 现在 Java 生态圈中已经有许多序列化框架，比如说 Java ser
flink cdc 2.0.2 针对mysql Date类型数据的解决思路
qq_31866793的博客
11-10 9213
1，实践了flinkcdc的小伙伴肯定会遇到时间字段的问题，以mysql作为数据源为案例 我们读取的数据为Date类型 实际打印写入doris之后发现是： 2，在社区里询问通过issues了解到 Flink-CDC 在同步字段为timestamp类型的数据时，初始化数据和增量数据时区不一致 · Issue #317 · ververica/flink-cdc-connectors · GitHub 从这里我找到了自己想要的信息： 3，我们找到RowDataDebe...
Flink 数据类型和序列化机制简介/TypeInformation createSerializer TypeSerializer
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-22 3531
Flink自己定义了一套数据类型，对应Java中的基本类型、集合、POJO等，数据类型都是TypeInformation的子类，并且在每个子类中都重写了createSerializer方法来创建自己的TypeSerializer，然后使用TypeSerializer来实现序列化和反序列化。 如果Flink无法识别或推断类型，则使用Kryo序列化反序列化。如果Kryo无法实现序列化反序列化，可以使用强制avro或者为 Kryo 增加自定义的 Serializer 以增强 Kryo 的功能。实现序列化反序列化
flink写文件报错（lang.NoClassDefFoundError: org/apache/flink/api/common/typeinfo/TypeInformation）
qq_39315954的博客
11-30 1884
1. 使用Flink存储parquet文件报错 21/07/15 14:24:47 INFO checkpoint.CheckpointCoordinator: Triggering checkpoint 2 (type=CHECKPOINT) @ 1626330287296 for job 06a80360b770722f8dd3e41252a5a8d7. 21/07/15 14:24:47 INFO filesystem.Buckets: Subtask 2 checkpointing for chec
Flink-数据类型
不离不弃的博客
07-01 1709
描述 Flink支持非常完善的数据类型，数据类型的描述信息都是由TypeInformation定义。TypeInformation主要作用是为了再Flink系统内有效的对数据结构类型进行管理，能够在分布式计算过程中对数据的数据类型进行管理和推断。同时基于对数据的类型信息管理，Flink内部对数据存储也进行了响应的性能优化。 1. 原生数据类型 1.java原生基本类型（装箱）或String类型 2...
Flink之数据类型详解
lixinkuan的博客
06-21 6754
一、数据类型支持 Flink支持非常完善的数据类型，数据类型的描述信息都是由TypeInformation定义，比较常用的TypeInformation有BasicTypeInfo、TupleTypeInfo、CaseClassTypeInfo、PojoTypeInfo类等。TypeInformation主要作用是为了在Flink系统内有效地对数据结构类型进行管理，能够在分布式计算过程中对数据的类型进行管理和推断。同时基于对数据的类型信息管理，Flink内部对数据存储也进行了相应的性能优化。 Flink
[官方Flink进阶笔记 ] 五、 Flink 数据类型与序列化
张伯毅的专栏
02-20 1117
-------------------------一 .为 Flink 量身定制的序列化框架1.1. 为什么定制?1.2. Flink 的数据类型1.3. TypeInformation1.4. Flink 的序列化过程二 .Flink 序列化的最佳实践2.1. 最常见的场景2.2. 实践–类型声明2.2.1. 对于非泛型类，直接传入 class 对象即可。2.2.2. 对于泛型类，需要通过 TypeHint 来保存泛型类型信息。2.2.3. 预定义常量。2.2.4. 自定义 TypeInfo 和 Typ
java Flink（四十二）Flink的序列化以及TypeInformation介绍（源码分析）
最新发布
qq_40771567的博客
03-18 1081
主要作用是为了在 Flink系统内有效地对数据结构类型进行管理，能够在分布式计算过程中对数据的类型进行管理和推断。同时基于对数据的类型信息管理，Flink内部对数据存储也进行了相应的性能优化。每一个具体的数据类型都对应一个TypeInformation的具体实现，每一个TypeInformation都会为对应的具体数据类型提供一个专属的序列化器。
Flink类型管理体系简介
李梓杨的博客
09-07 738
一、Flink类型管理体系简介 Flink使用一套独有的类型管理体系（结合反射机制）来管理不同task之间进行计算、传输和存储的数据的类型。 其中主要使用TypeInformation类的类族来记录和描述数据的类型信息： 在TypeInfomation中，主要将Flink处理的数据分为以下四种类型： 1.基本类型：Java中的基本类型（int,double）以及封装的(Integer,Do...
作为一个编程新手，我再也不怕Flink迷了我的眼！
weixin_33845477的博客
09-11 342
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由kyledong 发表于云+社区专栏 使用 Flink 编写处理逻辑时，新手总是容易被林林总总的概念所混淆： 为什么 Flink 有那么多的类型声明方式？ BasicTypeInfo.STRING_TYPE_INFO、Types.STRING 、Types.STRING() 有何区别？ TypeInfoFactory 又是什么...
flink中的row类型详解
weixin_51981189的博客
01-10 2082
在Apache Flink中，`Row` 是一个通用的数据结构，用于表示一行数据。`Row` 可以看作是一个类似于元组的结构，其中包含按顺序排列的字段。在这个例子中，我们首先定义了一个 `RowTypeInfo`，描述了 `Row` 中两个字段的数据类型。然后，我们创建一个 `Row` 对象，设置了两个字段的值，并最后访问了这些字段的值。`Row` 的字段可以是各种基本数据类型，例如整数、字符串、布尔值等，也可以是复杂的结构，例如嵌套的 Row 或数组。
Flink知识概要
TU_JCN的博客
07-06 3920
Flink 是分布式实时和离线计算引擎，
flink table schema
07-27
import org.apache.flink.api.common.typeinfo.Types; import org.apache.flink.table.api.DataTypes; import org.apache.flink.table.api.Table; import org.apache.flink.table.api.TableEnvironment; import org....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值