【Flink】Flink Row和RowData的区别

已于 2024-04-15 21:14:30 修改
阅读量8.9k 收藏 3
点赞数 2
分类专栏： 大数据-flink 文章标签： Flink Row RowData
于 2021-02-07 10:35:43 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/113512194
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Flink中的Row和RowData的区别。Row是用户级别的数据结构，支持通过索引或字段名称访问，适合一般数据处理。而RowData是内部数据结构，基于二进制格式存储，更高效，常用于性能要求高的场景如流处理。RowData包括BinaryRowData和GenericRowData两种实现，用于Table API和SQL的数据传输。
摘要由CSDN通过智能技术生成

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

文章目录


在这里插入图片描述

1.概述

Row 是暴露给 DataStream 用户用的，里面可以设置 RowKind，RowData 是 Table 内部的数据结构，在一些场景序列化会有提升，使用 Flink SQL 会直接应用上 RowData，当然高级用户想直接用 RowData 也是可以的，1.11 的新版 connector API 就是将 RowData 暴露给了 connector 开发者。

RowData解释

内部数据结构的基本接口，表示表生态系统中{@link RowType}和其他(可能嵌套的)结构化类型(如{@link StructuredType})的数据。

运行时通过Table API或SQL管道传输的所有顶级记录都是此接口的实例。每个{@link RowData}包含一个 {@link RowKind}，它表示一行在更改日志中描述的更改类型。{@link RowKind}只是行的元数据信息， 因此不是表模式的一部分，也就是说，不是一个专用字段。

注意

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Flink Row类型转Table类型
九师兄
01-08 977
一个网友想flink怎么转为表，但是总是报错具体代码大概如下然后我就去研究了一下 ，写了如下几种方案。
Flink RowData 与 Row 相互转化工具类
lisacumt的专栏
09-14 1753
Flink RowData 与 Row 相互转化工具类
【Flink】Table\Sql API 笔记：Row和RowData
Chain的博客
08-21 7028
【Flink】Table\Sql API 笔记：Row和RowData
FlinkSQL实现行转列
liuwei0376的专栏
05-30 5814
说明 在hive数仓里，实现一个行转列是很常见的操作，那么如何在 FlinkSQL 中也实现类似的功能呢？以下用以一个样本示例数据来说明。 样本数据 name list andy [{“course”:“flink”,“score”:“99”},{“course”:“spark”,“score”:“88”},{“course”:“hadoop”,“score”:“77”}] 数据格式化： { "name": "andy", "list": [{ "course": "flink"
Iceberg schema Convert Flink RowType 类型映射关系整理
qq_43383123的博客
06-16 502
Iceberg FlinkSink.forRowData(/* params */) 要求给定一个DataStream\ ，如果是自己生成 RowData ，或许需要关注类型的映射关系
FlinkX的数据类型
wuhulala的休息室
05-24 1111
FlinkX的数据类型 从上一章节里面看到： DataStream<Row> dataStream = dataReader.readData(); 这个简单的代码里面我们可以得出 每一行数据都转化为了Row对象 数据转化为了数据流 我们下面看一下Row是如何满足所有的数据类型的？ FlinkX 中的 Row 这里的Row是指的org.apache.flink.types.Row A Row can have arbitrary number of fields and contain
Flink DataStream Connectors 数据流格式
京河小蚁的博客
06-19 1317
Flink 内置支持 Apache Avro 格式。在 Flink 中将更容易地读写基于 Avro schema 的 Avro 数据。 Flink 的序列化框架可以处理基于 Avro schemas 生成的类。为了能够使用 Avro format，需要在自动构建工具（例如 Maven 或 SBT）中添加如下依赖到项目中。 如果读取 Avro 文件数据，你必须指定 AvroInputFormat。示例： 注意，User 是一个通过 Avro schema生成的 POJO 类。Flink 还允许选择 POJO
java中row类,Flink数据类型之POJO和Table中的Row
weixin_33656298的博客
03-14 4883
Published: 2019-09-15 22:10:00tags: FlinkFlink数据类型支持TypeInformation主要是为Flink系统内有效的对数据结构类型进行管理，对数据的类型进行管理和推断原生数据类型复合类型元组 tuple -Java和Scala样例类 -ScalaPOJOs类型Flink Value类型 ： org.apache.flink.types.ValuePO...
flink中的row类型详解
最新发布
weixin_51981189的博客
01-10 2108
在Apache Flink中，`Row` 是一个通用的数据结构，用于表示一行数据。`Row` 可以看作是一个类似于元组的结构，其中包含按顺序排列的字段。在这个例子中，我们首先定义了一个 `RowTypeInfo`，描述了 `Row` 中两个字段的数据类型。然后，我们创建一个 `Row` 对象，设置了两个字段的值，并最后访问了这些字段的值。`Row` 的字段可以是各种基本数据类型，例如整数、字符串、布尔值等，也可以是复杂的结构，例如嵌套的 Row 或数组。
Hive的数据存储格式
11-28 7932
Hive支持的存储数据的格式主要有： Hive支持的存储数据的格式主要有 存储形式 TEXTFILE 行式存储 SEQUENCEFILE 行式存储 ORC 列式存储 PARQUET 列式存储 列式存储和行式存储 行存储的特点： 查询满足条件的一整行数据的时候，行存储只需要找到其中一个值，其余的值都在相邻地方。列存储则需要去每个聚集的字段找到对应的每个列的值，所以此...
Flink实战之Flink SQL中的Map、Array、Row
m0_67390963的博客
03-20 8360
Flink sql支持Map、Array、Row类型，这几种类型在DDL中如何定义、如何获取、如何构造，本文做个总结。 以如下数据作为样例： { "id":1238123899121, "name":"asdlkjasjkdla998y1122", "date":"1990-10-14", "obj":{ "time1":"12:12:43Z", "str":"sfasfafs", "lg":2324342345 },
精通Flink项目优化（五.FlinkSQL 调优）
wenqi
04-30 2086
1. Group Aggregate 优化 1.1 开启 MiniBatch（提升吞吐） MiniBatch 是微批处理，原理是缓存一定的数据后再触发处理，以减少对 State 的访问，从而提升吞吐并减少数据的输出量。MiniBatch 主要依靠在每个 Task 上注册的 Timer 线程来触发微批，需要消耗一定的线程调度性能。 MiniBatch 默认关闭，开启方式如下: // 初始化 table environment TableEnvironment tEnv = ... // 获取 tableEnv
Flink中DataGeneratorSource和DataGen Connector的使用
upupfeng的博客
03-22 3154
在我们学习Flink的时候，往往需要写很多的代码去造数据，会浪费很多时间，Flink为DataStream和Table&SQL Api提供了生成数据的Source，我们可以方便的使用。 先说一下DataStream提供的DataGeneratorSource DataGeneratorSource 描述 DataGeneratorSource抽象了数据生成器，可以轻松的生成数据。 DataGeneratorSource有状态、可以并行。 DataGeneratorSource的构造器需要传入dat
聊聊flink 1.11 中的随机数据生成器- DataGen connector
公众号[大数据技术与应用实战]，分享大数据实战案例
09-02 3898
在flink 1.11中，内置提供了一个DataGen 连接器，主要是用于生成一些随机数，用于在没有数据源的时候，进行流任务的测试以及性能测试等。下面我们简单的聊聊如何来使用以及底层源码是如何实现的。
Flink读取嵌套Json
张不帅
01-05 5866
package kafka; import org.apache.flink.api.common.typeinfo.TypeInformation; import org.apache.flink.api.java.typeutils.ObjectArrayTypeInfo; import org.apache.flink.streaming.api.environment.StreamExe...
ag-grid在Vue项目中的基本使用
热门推荐
sleepwalker_1992的专栏
11-01 2万+
ag-grid官网 1、安装 npm install ag-grid-community ag-grid-vue --save-dev 2、在main.js中引入ag-grid的样式文件 // 引入ag-grid的样式文件 import '../node_modules/ag-grid-community/dist/styles/ag-grid.css'; import '../node...
java datarow_DataRow
weixin_30314045的博客
02-12 698
来源：kroll在.net里，DataRow类型的对象是不支持序列化的，那么如果在一个需要序列化的对象中含有DataRow类型的字段该怎么办呢？呵呵，幸好Datatable是支持序列化的。因此，我们可以自定义序列化的行为，并在序列化和反序列化的时候用Datatable来对DataRow进行包装和解包。为了自定义序列化行为，必须实现ISerializable接口。实现这个接口要实现 GetObjec...
flink 中的row
05-20
Row 是 Flink 中的一个重要概念，被广泛应用于数据处理和数据分析场景中。在数据处理过程中，Flink 将输入数据转换为 Row 对象，然后对 Row 进行各种操作，如过滤、聚合、转换等。在数据分析场景中，可以使用 Row ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值