Flink API分层

最新推荐文章于 2023-11-06 23:03:19 发布
最新推荐文章于 2023-11-06 23:03:19 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： Flink实时处理 文章标签： Flink api Flink api分层
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36939535/article/details/127301455
版权
Flink的API分为三层：Flink SQL/Table、Flink DataStream/DataSet和ProcessFunction。SQL/Table API提供批流统一的关系型操作，DataStream/DataSet为核心API，支持流处理操作，而ProcessFunction作为低级API，允许处理单个事件并实现复杂业务逻辑。DataSet逐渐被DataStream API取代，以实现流批一体化。
摘要由CSDN通过智能技术生成

Flink的API基本可分为三层：

  • Flink SQL/Table
  • Flink DataStream/DataSet
  • Flink 有状态底层处理API

在这里插入图片描述

越是高级API，代码越是简洁，但灵活性会相对的减少，反之同理。

1、高级api - Flink SQL/Table

Flink 支持两种关系型的 API，Table API 和 SQL。这两个 API 都是批处理和流处理统一的 API，这意味着在无边界的实时数据流和有边界的历史记录数据流上，关系型 API 会以相同的语义执行查询，并产生相同的结果。Table API 和 SQL 借助了 Apache Calcite 来进行查询的解析，校验以及优化。它们可以与 DataStream 和 DataSet API 无缝集成，并支持用户自定义的标量函数，聚合函数以及表值函数。

2、核心api - Flink DataStream/DataSet

目前Flink进行流批一体化，DataSet逐步退出，统一使用DataStream API。
DataStream API 为许多通用的流处理操作提供了处理原语。这些操作包括窗口、逐条记录的转换操作，在处理事件

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink入门系列--架构、应用程序执行、分层API(1.14.3版本)
打酱油的葫芦娃
03-16 6145
Flink 集群剖析 Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。 Client 不是运行时和程序执行的一部分，而是用于准备数据流并将其发送给 JobManager。之后，客户端可以断开连接（分离模式），或保持连接来接收进程报告（附加模式）。客户端可以作为触发执行 Java/Scala 程序的一部分运行，也可以在命令行进程./bin/flink run …中运行。 可以通过多种方式启动 JobManager 和 TaskManager：直接在
Flink API的抽象分层
科学的N次方
02-24 617
Flink中提供了4种不同层次的API，如下图所示： •低级API(stateful stream processing)：提供了对时间和状态的细粒度控制，简洁性和易用性较差，主要应用在对一些复杂事件的处理逻辑上。 •核心API(datastream && dataset api)：主要提供了针对流数据和离线数据的处理，对低级API进行了一些封装，提供了filter、sum、max、min等高级函数，简单且易用，所以在工作中应用比较广泛。 •Table API：一般与DataSet或者Dat
flink学习（六）——flink api层次
Yohohaha的博客
12-21 1806
在前文我们写了一个WordCount程序体验了一下flink程序的编写。在本篇中我们详细学习下flink api的分类及其应用场景。 Flink’s API flink提供了4个层次的api抽象： 在最下层，就是有状态流式编程，它提供了状态编程和时间编程（时间编程后面会学到）的基础能力。它通过Process Function嵌入到DataStream API中。它It is embedded into the DataStream API via the Process Function. It all
Flink的API分层、架构与组件原理、并行度、任务执行计划
最新发布
tszc95的博客
11-06 1776
Apache Flink的API分为四个层次，每个层次都提供不同的抽象和功能，以满足不同场景下的数据处理需求。Flink API 最底层的抽象为有状态实时流处理。其抽象实现是Process Function，并且Process Function被 框架集成到了DataStream API中来为我们使用。它允许用户在应用程序中自由地处理来自单流或多流的事件（数据），并提供具有全局一致性和容错保障的状态。
flink分层 api
weixin_30305735的博客
06-26 438
最底层的processFunction 功能强大，使用复杂 中间层的DataSet api map reduce 。。。一些基本运算api 中上层的tableAPI 最上层 SQL 两个相似，只是写法上的不同 转载于:https://www.cnblogs.com/yszzu/p/11094583.html...
4、Flink的分层API 5
05-10
Flink的分层API是指将Flink的API按照不同的抽象层级进行划分和组织，使得用户可以根据自己的需求选择合适的API进行开发。具体来说，Flink的分层API包括以下五个层级： 1. DataSet API：DataSet API是Flink最初提供...
大数据Flink（六十）：Flink 数据流和分层 API介绍
Lansonli（蓝深李）的博客
08-11 1232
因此，Flink 是一个用于在无界和有界数据流上进行有状态计算的通用的处理框架，它既具有处理无界流的复杂功能，也具有专门的运算符来高效地处理有界流。由 Flink 应用程序产生的结果流可以发送到各种各样的系统，并且可以通过 REST API 访问 Flink 中包含的状态。在 Flink 中，认为所有的数据本质上都是随时间产生的流数据，把批数据看作是流数据的特例，只不过流数据是一个无界的数据流，而批数据是一个有界的数据流（例如固定大小的数据集）。Flink 提供了三个分层的 API。
Flink分层api
小泽
11-19 199
flink
Flink学习3-API介绍
迷路剑客个人博客
09-29 4710
Flink学习3-API介绍 0x00 系列文章目录 Flink系列1-基础概念 Flink系列2-安装和启动 Flink系列3-API介绍 0x01 摘要 本文主要是介绍Flink的不同层次(level)API抽象，学习怎么通过API高效处理有状态性的计算无界和有界的数据流。 0x02 基本概念 在Flink流式处理框架中，有几个很重要的概念即streams,state,time。 下面我...
Flink【基础知识 01】（简介+核心架构+分层API+集群架构+应用场景+特点优势）（一篇即可大概了解flink）
シ風
08-10 684
目前比较流行的大数据处理引擎 Apache Spark，基本上已经取代了 MapReduce 成为当前大数据处理的标准。但 对实时数据处理来说，Apache Spark 的 Spark-Streaming 还有性能改进的空间。对于Spark-Streaming 的流计算本质上还是批（微批）计算，Apache Flink 就是近年来在开源社区不断发展的技术中的能够同时支持高吞吐、低延迟、高性能的纯实时的分布式处理框架。 1. 简介 Flink 在德语中是快速和灵敏的意思，用来体现流式数据处理器速度快和灵活性强
Flink架构从入门到精通以及Flink的四层Api详细剖析[持续更新]
曹利荣的博客
08-10 798
qqqqqqqqqqqqqq
大数据框架 — Flink_01（简介、数据处理架构、Flink与Spark的不同、Flink分层API简介）
文泽路小男孩的博客
03-31 1090
文章目录1 Flink简介2 为什么选择Flink3 数据处理架构3.1 传统数据处理架构3.1.1 事务处理3.1.2 分析处理3.2 流处理3.2.1 有状态的流式处理3.2.2 事件驱动3.2.3 流vs批3.2.4 Flink vs Spark3.2.4.1 数据模型3.2.4.2 运行时架构4 Flink分层API4.1 过程函数 ProcessFunction4.2 DataStrea...
Flink分层架构
雾幻的博客
04-24 1808
2.1 Flink结构与支持 Flink是一个分层架构的系统，不同层的栈建立在其下层基础上，并且每一层所包含的组件都提供了特定的抽象，用来服务于上层组件。Flink分层的组件栈如下图所示（从下至上）： 部署：Flink 支持本地运行、能在独立集群或者在被 YARN 或 Mesos 管理的集群上运行， 也能部署在云上。 运行：Flink 的核心是分布式流式数据引擎，意味着数据以一次一个事件的形式...
Flink-Flink简介|Flink架构|事件驱动型|分层API|Spark Streming与Flink对比
SmallScorpion
05-23 896
Flink简介 Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员，2014年12月，Flink一跃成为Apache软件基金会的顶级项目。 在德语中，Flink一词表示快速和灵巧，项目采用一只松鼠的彩色图案作为logo，这不仅是因为松鼠具有快速和灵巧的
分享：Flink基本的API
qianfeng_dashuju的博客
07-05 992
　　Flink使用 DataSet 和 DataStream 代表数据集。DateSet 用于批处理，代表数据是有限的;而 DataStream 用于流数据，代表数据是无界的。数据集中的数据是不可以变的，也就是说不能对其中的元素增加或删除。我们通过数据源创建 DataSet 或者 DataStream ，通过 map，filter 等转换(transform)操作对数据集进行操作产生新的数据集。 ...
flink常用api详解
MOWRONG的博客
02-22 2569
1.Flink提供了四种不同层级的API。低级API，核心API，Table API，SQL。 2.Flink DataStream的常用API（主要分为三块）：DataSource（程序的数据源输入），Transformation（具体的操作），Sink（程序的输出） 3.Flink针对DataStream提供了大量的已经实现的DataSource (数据源)接口。如: 基于文件: readTextFile (path)读取文本文件，文件遵循Text InputFormat逐行读取规则并返回。 基
Flink架构分析
qq_20453349的博客
12-27 2248
Flink架构可以分为4层，包括Deploy层、Core层、API层和Library层， Deploy层：该层主要涉及Flink的部署模式，Flink支持多种部署模式——本地、集群（Standalone/YARN）和云服务器（GCE/EC2）。 Core层：该层提供了支持Flink计算的全部核心实现，为API层提供基础服务。 API层：该层主要实现了面向无界Stream的流处理和面向Batch的批处理API，其中流处理对应DataStream API，批处理对应DataSet API。 Librar
3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream详细示例入门和提交任务至on yarn运行
热门推荐
alanchanchn的专栏
07-06 5万+
客户端在提交任务的时候会对Operator进行优化操作，能进行合并的Operator会被合并为一个Operator，合并后的Operator称为Operator chain，实际上就是一个执行链，每个执行链会在TaskManager上一个独立的线程中执行，就是SubTask。将算子链接成 task 是个有用的优化：它减少线程间切换、缓冲的开销，并且减少延迟的同时增加整体吞吐量。由Flink程序直接映射成的数据流图是StreamGraph，也被称为逻辑流图，因为它们表示的是计算逻辑的高级视图。
flink api 简介
zxczb的博客
04-13 1464
1.1 不同级别的抽象 Flink API 最底层的抽象为有状态实时流处理。其抽象实现是 Process Function，并且 Process Function 被 Flink 框架集成到了 DataStream API 中来为我们使用。它允许用户在应用程序中自由地处理来自单流或多流的事件（数据），并提供具有全局一致性和容错保障的状态。此外，用户可以在此层抽象中注册事件时间（event time）和处理时间（processing time）回调方法，从而允许程序可以实现复杂计算。 Flink A
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蜗牛@漫步

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值