[Flink课程]---- 2.2 DataSet API & DataStream API & Table & SQL API 的对比

最新推荐文章于 2024-03-29 17:53:39 发布

往事随风ing

最新推荐文章于 2024-03-29 17:53:39 发布

阅读量2.5k

点赞数 1

分类专栏： Flink（理论+实战）文章标签： Flink API

本文链接：https://blog.csdn.net/high2011/article/details/85199030

版权

Flink（理论+实战）专栏收录该内容

49 篇文章 12 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文基于Flink 1.6.0版本，对比分析了DataStream API、DataSet API与Table API及SQL API的特性。DataStream API适用于流处理，提供丰富Operators；DataSet API为批处理API，具有优化器；Table API和SQL是描述性API，批流统一，通过Apache Calcite优化。

摘要由CSDN通过智能技术生成

说明

本文基于 Flink -1.6.0 版本进行整理和分析，如有不妥之处，敬请指正。

内容

一、Flink 的技术栈

图片来源：https://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html

Apache Flink: Stack

注意
Table API & SQL 统一了 DataStream API 和 DataSet API ，所以，如果没有特殊业务场景，建议多使用 Table API  &SQL .

二、Flink 分层架构

图片来源：

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

往事随风ing

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Flink基础---04常用的 DataSet 和 DataStream API

weixin_42642502的博客

06-06

944

现状在前面的课程中，曾经提到过，Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体”，即编写一套代码，可以同时支持流式计算场景和批量计算的场景。目前截止 1.10 版本依然采用了 DataSet 和 DataStream 两套 API 来适配不同的应用场景。 DateSet 和 DataStream 的区别和联系在官网或者其他网站上，都可以找到目前 Flink 支持两套 API 和一些应用场景，但大都缺少了“为什么”这样的思考。 Apache Flink

十二、Flink实战--DataStream、DateSet、TableAPI 、SQL各种实现

大数据之路

05-27

2186

Flink API实现1. DataStream 实现2. DataSet 实现3. Table API & SQl实现今天我们模拟实际生成，从kafka消费数据，利用flink的各种API实现，统计wordcount。 1. DataStream 实现 package com.bigdata.flink.datasteam; import org.apache.flink.api.c...

参与评论您还未登录，请先登录后发表或查看评论

Flink DataStreamAPI与DataSetAPI应用案例实战-Flink牛刀小试

weixin_34162401的博客

12-02

285

版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。期待加入IOT时代最具战斗力的团队。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。 1 DataStreamAPI 1.1 DataStream Data Sources source是程...

Flink API介绍

咖啡的博客

10-12

1379

Flink API介绍 Flink提供了三层API，每层在简洁性和表达性之间进行了不同的权衡。 flink-api ProcessFunction是Flink提供的最具表现力的功能接口，它提供了对时间和状态的细粒度控制，能够任意修改状态。所以ProcessFunction能够为许多有事件驱动的应用程序实现复杂的事件处理逻辑。 DataStream API为许多通用的流处理操作提供原语，比...

大数据Hadoop之——Flink DataStream API 和 DataSet API

匠人精神，持之以恒！

02-26

2490

文章目录一、DataStream API概述一、DataStream API概述 DataStream API 得名于特殊的 DataStream 类，该类用于表示 Flink 程序中的数据集合。你可以认为它们是可以包含重复项的不可变数据集合。这些数据可以是有界（有限）的，也可以是无界（无限）的，但用于处理它们的API是相同的。 ...

Flink06：Flink核心API之Table API和SQL：Table API 和SQL的使用；DataStream、DataSet和Table之间的互相转换

weixin_40612128的博客

03-15

877

一、Table API & SQL 注意：Table API 和 SQL 现在还处于活跃开发阶段，还没有完全实现Flink中所有的特性。不是所有的 [Table API，SQL] 和 [流，批] 的组合都是支持的。 Table API和SQL的由来： Flink针对标准的流处理和批处理提供了两种关系型API，Table API和SQL。Table API允许用户以一种很直观的方式进行select 、filter和join操作。 Flink SQL基于 Apache Calcite实现标准SQL。针

大数据之flink教程-TableAPI和SQL.pdf

07-27

《大数据之Flink教程——TableAPI和SQL》 Flink作为一个强大的批流统一的数据处理框架，其Table API和SQL提供了一种统一的方式来处理批处理和流处理任务。这两种API允许开发者以声明式的方式编写查询，使得代码更加...

大数据之flink教程-TableAPI和SQL.docx

11-23

大数据之Flink教程-Table API和SQL Flink Table API和SQL是Flink的一部分，提供了批流统一的处理框架。Table API是一套内嵌在Java和Scala语言中的查询API，允许我们以非常直观的方式，组合来自一些关系运算符的查询...

八、Flink入门--TableApi & Sql

大数据之路

05-23

1515

TableAPi1. 概述2. Table API编程2.1 word count例子2.2 注册表的几种方式2.3输出表的几种方式2.4 查询表2.5 Table to DataStream 或 DataSet2.6 Table 函数及转换关系3.UDF 用户自定义函数3.1编写一个udf3.2编写一个udtf3.2编写一个udaf 1. 概述 TableApi & sql的特点：声...

Flink实践代码-TableAPI 与 DataStream 互转

最新发布

danevc的博客

03-29

1071

Flink tableAPI2DataStream

flink学习笔记-table与sql简介、编程开发及DataSet、DataStream与Table相互转换

陈同学

03-26

1009

1：Flink table以及SQL的基本介绍 Apache Flink 具有两个关系型API：Table API 和SQL，用于统一流和批处理。 Table API 是用于 Scala 和 Java 语言的查询API，允许以非常直观的方式组合关系运算符的查询，例如 select，filter 和 join。Flink SQL 的支持是基于实现了SQL标准的 Apache Calcite。无论...

Flink基础之API，DataSet、DataStream、批、流

飞朋的博客

08-19

1975

目录 DataSet 和DataStream Anatomy of a Flink Program（剖析Flink程序） Lazy Evaluation（延迟计算） Specifying Keys（指定的键） Specifying Transformation Functions（指定转换功能） Supported Data Types（支持的数据类型） Java Tuples an...

DataSet and DataStream

MOL

08-31

9139

Flink has the special classes DataSet and DataStream to represent data in a program. You can think of them as immutable(不可变的) collections of data that can contain duplicates(可以重复). In the case of DataSet the data is finite(对于DataSet 数据是有界的,批处理使用) while for

《大数据跟我学系列文章-轻松通关 Flink ——03.Flink 常用的 DataSet 和 DataStream API》

个人总结

02-14

765

大数据跟我学系列文章-轻松通关 Flink ——03.Flink 常用的 DataSet 和 DataStream API 介绍 Flink 的 DataSet 和 DataStream 的 API，并模拟了实时计算的场景，详细讲解了 DataStream 常用的 API 的使用文章目录大数据跟我学系列文章-轻松通关 Flink——03.Flink 常用的 DataSet 和 DataStream API前言一、流批一体？1.DateSet 和 DataStream 的区别和联系2.DataStrea

Flink 常用的 DataSet 和 DataStream API

zsyoung的博客

07-11

700

说好的流批一体呢？现状是截止1.10版本依然采用了 DataSet 和 DataStream 两套 API 来适配不同的应用场景。 DateSet 和 DataStream 的区别和联系 1、Apache Flink 在诞生之初的设计哲学是：用同一个引擎支持多种形式的计算，包括批处理、流处理和机器学习等。尤其是在流式计算方面，Flink 实现了计算引擎级别的流批一体 2、对于DataSet而言，Source部分来源于文件、表或者Java集合 3、对于DataStream而言，Source

DataStream与DataSet

浅然的专栏

03-03

1684

DataStream与DataSet Flink具有特殊类DataStream与DataSet，这两者是flink中主要的数据源，根据数据源可分为有界源和无界源，而DataStream则是无界源，DataSet是有界源，也就是说DataStream常用于流处理，而DataSet用于批处理。 DataStream API DataStream Sources（数据来源） DataStream...

flink 基础知识梳理（DataSet、DataStream、map、filter、filterMap）

anita9999的博客

11-18

988

1.DataSet和DataStream的区别 DataSet:有界数据流，数据批处理；处理完一条数据，把它放到缓存里，当缓存空间写满时，把它映射到磁盘上；在所有数据处理完之后，才将其通过网络传输到下一个节点，要求高通吐。 DataStream无界数据流，数据流处理；处理完一条数据，把它序列到缓存，并将其通过网络传输到一下个节点进行处理，要求低延迟。 2.map、filter、filterMap的区别 map:数据流经过map算子处理之后，再流出；它是有多少数据，处理完之后就流出多少数据 filt

Flink Table API和Flink SQL

寒暄的博客

04-02

965

简介 Flink Table API 是一套内嵌在java和scala中的查询api，他允许以非常直观的方式组合一些关系运算符的查询。 Flink SQL是基于实现了SQL标准的Apache Calcite。目前Flink Table API和SQL还不是很完善。例子： package com.ts.tabletest; import com.ts.flink.SensorReading; import org.apache.flink.streaming.api.datastream.DataSt

Flink Table & SQL：流批统一的高效声明式API

在这之前，Flink 的 API 分为 DataStream API 和 DataSet API，分别对应流处理和批处理。然而，随着 Table API 和 SQL 的发展，Flink 正逐步实现 API 的统一，以提供更无缝的流批处理体验。 Flink Table API 和 SQL...