Flink -Table API 中 和DataStream 互相转换

最新推荐文章于 2023-03-08 17:18:11 发布
最新推荐文章于 2023-03-08 17:18:11 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29342297/article/details/113774062
版权
将Table转换成DataStream表可以转换为DataStream或DataSet,这样自定义流处理或批处理程序就可以继续在Table API或SQL 查询的结果上运行了将表转换为DataStream或DataSet时，需要制定生成的数据类型，既要将表的每一行转换成的数据类型表作为流式查询的结果，是动态更新的转换有两种转换模式：追加(Append)模式和撤回(Retract)模式追加模式(Retract Mode)用于表只会被插入(Insert)操作更改的场景Dat
摘要由CSDN通过智能技术生成

将Table转换成DataStream

  • 表可以转换为DataStream或DataSet,这样自定义流处理或批处理程序就可以继续在Table API或SQL 查询的结果上运行了

  • 将表转换为DataStream或DataSet时，需要制定生成的数据类型，既要将表的每一行转换成的数据类型

  • 表作为流式查询的结果，是动态更新的

  • 转换有两种转换模式：追加(Append)模式和撤回(Retract)模式

    1. 追加模式(Retract Mode)
    • 用于表只会被插入(Insert)操作更改的场景
    DataStream<Row>  resultStream = tableEnv.toAppendStream(resultTable,Row.class)
最低0.47元/天 解锁文章
腹黑客
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】FlinkSQL中Table和DataStream互转
一杯咖啡半杯糖的博客
03-02 668
在我们实际使用Flink的时候会面临很多复杂的需求，很可能需要FlinkSQL和DataStream互相转换的情况，这就需要我们熟练掌握Table和DataStream互转，本篇博客给出详细代码以及执行结果，可直接使用，通过例子可学会Table和DataStream互转，具体步骤如下：
27.flink table api 和DataStream Api 互相转换
笔生花的博客
09-20 1788
核心的英文并未删除，方便读者甄别我的理解和翻译。DataStream 中的水位线，如果DataStream 中的水位线没读懂，建议不要往下看了，以防走火入魔。
Flink中DataStream、DataSet和Table之间的互相转换
libaowenBlog的博客
08-22 2985
通过TableEnvironment ，可 以 把 DataStream 或 者 DataSet 注 册 为 Table ， 这 样 就 可 以 使 用 Table API 和 SQL 查 询 了。通 过 TableEnvironment 也可以把Table对象转换为DataStream或者DataSet，这样就可以使用DataStream 或者DataSet中的相关API了。
Flink之Table API和SQL
最新发布
qq_40905284的博客
03-08 398
Flink之Table API和SQL,DataStream。包括Table API 和SQL的使用,和DataSet和Table之间的互相转换。
Flink中Table表和DataStream流的互相转换
张俊杰 的博客
07-11 2291
sensor.txt sensor_1,1547718199,35.8 sensor_6,1547718201,15.4 sensor_7,1547718202,6.7 sensor_10,1547718205,38.1 sensor_1,1547718207,37.2 sensor_1,1547718212,33.5 sensor_1,1547718215,38.1 转换代码 import org.apache.flink.streaming.api.scala._ import org.apache.
Flink06：Flink核心API之Table API和SQL：Table API 和SQL的使用；DataStream、DataSet和Table之间的互相转换
weixin_40612128的博客
03-15 846
一、Table API & SQL 注意：Table API 和 SQL 现在还处于活跃开发阶段，还没有完全实现Flink中所有的特性。不是所有的 [Table API，SQL] 和 [流，批] 的组合都是支持的。 Table API和SQL的由来： Flink针对标准的流处理和批处理提供了两种关系型API，Table API和SQL。Table API允许用户以一种很直观的方式进行select 、filter和join操作。 Flink SQL基于 Apache Calcite实现标准SQL。针
Flink核心API之Table API和SQL
libaowenBlog的博客
08-22 599
Table API和SQL是一种关系型 API，用户可以像操作 Mysql 数据库表一样的操作数据。
17.flink Table Api基础概念讲解
笔生花的博客
07-20 1019
注册桥接的catlogs在内部catlog注册table加载可插拔模块执行SQL查询注册用户定义的（标量、表或聚合）函数DataStream和Table的流转换。
Flink Table API & SQL 编程
RonieWhite的博客
03-19 985
Kafka Table & SQL连接Kafka读写数据的样例代码： 首先是依赖，maven项目中需指定： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-scala_2.11</artifactId> <version>1.12.0
flink-table-api-java-bridge_2.11-1.12.7-API文档-中文版.zip
07-12
赠送jar包：flink-table-api-java-bridge_2.11-1.12.7.jar； 赠送原API文档：flink-table-api-java-bridge_2.11-1.12.7-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.11-1.12.7-sources.jar； 赠送...
flink-table-api-java-bridge_2.11-1.13.2-API文档-中英对照版.zip
06-05
赠送jar包：flink-table-api-java-bridge_2.11-1.13.2.jar； 赠送原API文档：flink-table-api-java-bridge_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.11-1.13.2-sources.jar； 赠送...
flink-table-api-java-bridge_2.12-1.14.3-API文档-中英对照版.zip
06-06
赠送jar包：flink-table-api-java-bridge_2.12-1.14.3.jar； 赠送原API文档：flink-table-api-java-bridge_2.12-1.14.3-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.12-1.14.3-sources.jar； 赠送...
flink-table-planner-blink_2.11-1.13.2-API文档-中文版.zip
06-05
包含翻译后的API文档：flink-table-planner-blink_2.11-1.13.2-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-table-planner-blink_2.11:1.13.2； 标签：apache、flink、table、planner、...
flink-table-common-1.12.7-API文档-中文版.zip
07-07
包含翻译后的API文档：flink-table-common-1.12.7-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-table-common:1.12.7； 标签：apache、flink、table、common、中文文档、jar包、java； ...
Flink - Table API 之 window (窗口)
qq_29342297的博客
02-12 2050
窗口 时间语义，要配合窗口操作才能发挥作用 在Table API 和 SQL 中，主要有两种窗口 Group Window(分组窗口) 根据时间或行计数间隔，将行聚合到有限的组(Group)中，并对每个组的数据执行一次聚合函数 Over Windows 针对每个输入行，计算相邻范围内的聚合 Group Windows Group Windows是使用window(w:GroupWindows)子句定义的，并且必须由as子句指定一个别名 为了按窗口对表进行分组，窗口的别名必须在group
Flink - Table API 快速入门操作
qq_29342297的博客
02-07 1636
Flink Table API Flink SQL Table API Flink SQL Flink 对批处理和流处理，提供了统一的上层API Table API是一套内嵌在Java和Scala语言中的查询API，它允许以非常直观的方式组合来自一些关系运算符的查询 Flink 的SQL 支持基于实现了SQL标准的Apache Calcite Apache Flink 有两种关系型 API 来做流批统一处理：Table API 和 SQL。Table API 是用于 Scala 和 Java 语言的查
Flink 快速入门案例(参考官方文档)
qq_29342297的博客
12-30 1163
Flink 批处理是有界数据流处理的范例。在这种模式下，你可以选择在计算结果输出之前输入整个数据集，这也就意味着你可以对整个数据集的数据进行排序、统计或汇总计算后再输出结果。 流处理正相反，其涉及无界数据流。至少理论上来说，它的数据输入永远不会结束，因此程序必须持续不断地对到达的数据进行处理。 快速入门案例 DarchetypeGroupId=org.apache.flink DarchetypeArtifactId=flink-walkthrough-datastream-java Darchetyp
Flink 在流处理上常见的sink
qq_29342297的博客
12-29 878
Flink 在流处理上常见的sink Flink将数据进行sink操作到本地文件/本地集合/HDFS等和之前的批处理操作一致 sink 到 kafka （读取mysql数据，落地到kafka） 创建kafka的topic:kafka-console-consumer.sh --from-beginning --topic test2 --zookeeper node01:2181,node02:2181,node03:2181 object DataSink_kafka { def main(a
"深入理解大数据之flink教程-TableAPI和SQL学习指南
The document "大数据之flink教程-TableAPI和SQL.docx" provides a comprehensive overview of Table API and Flink SQL, which are high-level processing APIs for batch and stream unified processing in Apache...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值