Flink入门（四）——编程模型

于 2024-02-25 15:28:58 发布
阅读量1.1k 收藏 10
点赞数 8
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36943123/article/details/136284668
版权
本文介绍了ApacheFlink，一个支持流式和批处理的开源框架，阐述了其编程模型，包括DataStream、DataSet、Table和SQLAPI，以及数据集的有界和无穷特性。详细讲解了数据源、转换和接收器的概念，以及Flink的应用结构和部署选项。
摘要由CSDN通过智能技术生成

flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink的编程模型。

数据集类型：

  • 无穷数据集：无穷的持续集成的数据集合
  • 有界数据集：有限不会改变的数据集合

常见的无穷数据集有：

  • 用户与客户端的实时交互数据
  • 应用实时产生的日志
  • 金融市场的实时交易记录
  • …

数据运算模型有哪些呢？

  • 流式：只要数据一直在生产，计算就持续地运行
  • 批处理：在预先定义的时间内运行计算，当完成时候释放计算机资源

Flink它可以处理有界的数据集，也可以处理无界的数据集，它可以流式的处理数据，也可以批量的处理数据。

Flink是什么？

最低0.47元/天 解锁文章
weixin_36943123
关注
（三）：Flink数据流编程模型
王某的博客
10-01 1378
前言 仍然是学概念，以下大部分是对官方doc的翻译，但是也会有些个人的理解（主要是对比Spark），以及查找的一些解决自己的一些疑惑相关资料。 从Flink 的数据流编程模型和分布式运行环境的基本概念开始学习会对您了解其他部分的文档有帮助，包括安装以及编程指南。强烈推荐先阅读这两部分文档。 数据流编程模型 抽象级别 Flink提供了不同的抽象级别以支持开发流式、批处理等应用。 最底层级的抽象仅...
大数据开发：Flink入门（四）——编程模型
大数据基础入门教程
04-14 461
flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink的编程模型。 数据集类型： 无穷数据集：无穷的持续集成的数据集合 有界数据集：有限不会改变的数据集合 常见的无穷数据集有： 用户与客户端的实时交互数据 应用实时产生的日志 金融市场的实时交易记录 … 数据运算模型有哪些...
Flink-数据流编程模型
热门推荐
北京小辉
09-27 1万+
目录: 1、抽象等级 2、程序和数据流 3、并行数据流 4、窗口 5、时间 6、状态操作 7、容错检查点 8、批处理流 1、抽象等级        Flink提供了不同级别的抽象来开发流/
Flink编程模型
蔡政洁的博客
03-07 1011
目录（1）Flink处理的数据集类型（2）Flink核心编程接口（3）Flink编程结构（3.1）ExecutionEnvironment（3.2）初始化数据（3.3）执行转换操作（3.4）分区key指定（3.5）输出结果（3.6）程序触发（4）Flink支持的数据类型 （1）Flink处理的数据集类型 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。 数据可以被作为 无界 或者 有界 流来处理。 有界数据集： 有界数
快速入门Flink (1) —— Flink的简介与架构体系
大数据梦想家
07-16 4546
文章目录一、Flink 的简介1.1 Flink的引入1.2 什么是 Flink1.3 Flink 流处理特性1.4 Flink 基石1.5 批处理与流处理 一、Flink 的简介 1.1 Flink的引入         这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm， 以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内.
Flink快速入门
m0_60319041的博客
11-23 1948
Flink快速入门 Flink概念 Flink是什么？ 官网介绍：Apache Flink® — Stateful Computations over Data Streams 翻译：Apache Flink ——数据流上的有状态计算 Flink定义： Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 数据可以被作为 无界 或者 有界 流来处理。 1.无界流：有定义流的开始，但没
flink入门到精通
laogong的博客
01-28 1355
1、lambada架构需要同时搭建批处理（保证数据准确）和流处理（低延迟）两套架构。而flink结合spark-streaming（高吞吐，数据准确性）和storm（低延迟）的优点，这样相当于一套架构实现了lambada架构。 ...
Flink数据流编程模型（Dataflow Programming Model）
L
06-16 1547
抽象层次（Levels of Abstraction） Flink提供了不同层次的抽象来开发流/批处理（streaming/batch）应用程序。如下： 抽象级别从低到高依次是：Stateful Stream Processing —> DataStream/DataSet API —> Table API —> SQL。 （1）Stateful Stream Processing 它是整个抽象的最底层，通过过程函数（Process Fun...
Flink 的基础编程模型
weixin_59295776的博客
12-18 443
上图是来自Flink官网的运行流程图。通过上图我们可以得知，Flink 程序的基本构建是数据输入来自一个 Source，Source 代表数据的输入端，经过 Transformation 进行转换，然后在一个或者多个Sink接收器中结束。数据流（stream）就是一组永远不会停止的数据记录流，而转换（transformation）是将一个或多个流作为输入，并生成一个或多个输出流的操作。执行时，Flink程序映射到 streaming dataflows，由流（streams）和转换操作（transfo...
Flink 的编程模型是什么？
Shockang的博客
07-15 7214
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 有状态的数据流处理层 最底层的抽象仅仅提供有状态的数据流，它通过处理函数（Process Function）嵌入到数据流api(DataStream API). 用户可以通过它自由的处理单流或者多流，并保持一致性和容错。同时用户可以注册事件时间和处理时间的回调处理，以实现复杂的计算逻辑。 核心API层
Flink 编程模型
wangyu1025391259的博客
01-17 480
一、处理程序层次      Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供不同级别的抽象API来处理应用程序：     一共包含有5种API:Process Function、DataStream API 、DataSet API 、Table API 、SQL   二、数据流        ...
Flink学习6：编程模型
hzp666的博客
06-30 436
Flink提供了不同级别的接口，最底层的是状态数据流处理，最高层是SQL 通过过程函数，被继承到DataStream API中
Flink入门
fang.lovest.yang的博客
07-28 256
Flink 中的 API Flink 为流式/批式处理应用程序的开发提供了不同级别的抽象。 Flink API 最底层的抽象为有状态实时流处理。其抽象实现是Process Function，并且Process Function被 Flink 框架集成到了DataStream API中来为我们使用。它允许用户在应用程序中自由地处理来自单流或多流的事件（数据），并提供具有全局一致性和容错保障的状态。此外，用户可以在此层抽象中注册事件时间（event time）和处理时间（pr...
flink 编程模型及核心概念
iMonster
10-12 162
flink 编程模型及核心概念 抽象层级： 各种分布式处理框架处理流程比较： DataSet and DataStream ​ 批处理：DataSet ​ 流处理：DataStream flink编程模型： Flink程序看起来像是转换数据集合的常规程序。每个程序包含相同的基本部分： 获得一个execution environment。 getExecutionEnvironment() createLocalEnvironment() createRemoteEnvironment(Strin
Flink编程模型详解与实战部署
1. **Flink编程模型**： - Flink的核心是**StatefulStreamProcessing**，它提供了processFunction，允许开发者构建复杂的处理逻辑，利用低阶API实现如定时操作、匹配和缓存等功能。虽然灵活性极高，但这也使得开发...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

weixin_36943123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值