Flink简单教学4-编程模型

最新推荐文章于 2024-04-02 21:42:15 发布
最新推荐文章于 2024-04-02 21:42:15 发布
阅读量154 收藏
点赞数
分类专栏： Flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuxuyang_7788/article/details/103058991
版权

编程模型

此章编程模型是重点，理解Flink是如何工作的。虽然不涉及代码但非常有必要花时间阅读(2-4)节为重点

1 层次抽象(Levels of Abstraction)

模型

从底向上，抽象程都由低到高，以下说明了解以下即可。

  • 最低层次的抽象仅仅提供了有状态的流。它通过流程函数嵌入到DataStream API中。它允许用户自由处理来自一个或多个流的事件，并使用一致的容错状态。此外，用户可以注册事件时间和处理时间回调，允许程序实现复杂的计算。

  • 第二层核心层。实际上，大多数应用程序不需要上层的抽象描述，而是根据核心API (DataStream API(有界/无界流)和DataSet API(有界数据集)进行编程。这些连贯api为数据处理提供了常见的构建块，比如用户指定的各种形式的转换、连接、聚合、窗口、状态等。在这些api中处理的数据类型用各自的编程语言表示为类。
    低层流程功能与DataStream
    API集成，使得仅对某些操作进行低层抽象成为可能。DataSet API在有界数据集上提供了额外的原语，比如循环/迭代。

  • 再上一层Table API是一个以表为中心的声明性DSL，可以动态地更改表(在表示流时)。表API遵循(扩展的)关系模型:表有一个附加的模式(类似于关系数据库中的表)，而API提供了类似的操作，如select、project、join、group-by、aggregate等。表API程序声明性地定义应该执行什么逻辑操作，而不是确切地指定操作代码的外观。虽然表API可以通过各种类型的用户定义函数进行扩展，但是它的表达能力不如核心API，但是使用起来更简洁(需要编写的代码更少)。
    此外Table API程序在执行前还需要经过一个应用规则优化器。可以在表和DataStream/DataSet之间进行无缝转换，允许程序混合Table API和DataStream和DataSet API。

  • Flink提供的最高抽象级别是SQL。这种抽象在语义和表达方面与Table API类似，用SQL代替table API编程方式。SQL抽象与Table API密切交互，SQL查询可以在Table API定义的表上执行。

2 程序和数据流(Programs and Dataflows)

Flink程序的基本构建块是streams和transformations。(在Flink的DataSet API中使用的数据集也是内部流的——稍后详细介绍)。从概念上讲，流是(无界)一个不间断的数据流，转换是将一个或多个流作为输入，并产生一个或多个输出的操作。
在运行时，Flink程序由流和操作符组成，并被映射到数据流(streaming dataflows)上。每个数据流可以由多个源（source），最后汇聚（sink）到一个或多个结果上。数据流类似于任意形状的有向无环图(DAGs)。虽然也可以通过迭代构造特殊形式的循环，但为了简单起见，我们在大多数情况下会忽略这一点。

code

通常，程序中的转换与数据流中的操作符之间是一对一的对应关系。但有时一个转换可能包含多个转换操作符。

source和sink被记录在流连接器和批连接器文档中。Transformations通过++DataStream operate++ 和 ++DataSet transformations++来描述。

3 并行数据流 (Parallel Dataflows)

Flink是并行分布式的程序。在执行期间，一个流有一个或多个分区(stream partitions)，每个operate有一个或多个operate子任务。operate子任务彼此独立，并在不同的线程中执行，也可能在不同的机器或容器中执行。

operator subtasks的数量就是这个operate的真实并行度。不同的的操作(operate)会有不同的不同的并行度。

parallelism
Streams可以在两个operator之间一对一的发送数据，也可以对数据进行重新分区:

  • One-to-one stream(上图中的source和map()操作)保留了元素的分区和顺序。也就是说map()操作的subtask[1]会看到和source操作subtask[1]生成的顺序相同的数据。

  • Redistributing stream (在上图上面的map()和keyBy/window之间，以及keyBy/window和sink之间)根据所用的操作会改变流的分区，每个operator subtasks将数据发送到不同的target subtasks。例如keyBy()(会根据key重新分区)、broadcast()或rebalance() (随机重新分区)。在重分区中，只能保证每对发送和接收子任务(subtask)之间保持有序(例如map()的subtask[1]和keyBy/window的subtask[2])++补充解释：map()接收到的和输出的顺序是一致的，keyBy/window顺序是一致的。但由map()输入，从keyBy/window输出就不能保证数据顺序一致++。因此在本例中，保留了每个键的顺序，但是并行性确实引入了不同键的聚合结果到达接收器的顺序的不确定性。

窗口(Windows)

窗口在流计算中是一个很重要的概念。聚合操作(sum,count)在流和批上的工作方式不同，在流计算中流是无限的，无法等数据全部到齐了之后再触发聚合操作。所以必须通过窗口(window)来限定数据的范围，比如计算五分钟内的事件数量，或者100个元素的总和。

Windows可以是时间驱动(例如:每30秒)或数据驱动(例如:每100个元素)。人们通常会区分不同类型的窗口，比如翻滚窗口(tumbling windows)(没有重叠)、滑动窗口(sliding window)(有重叠)和会话窗口(session windows)(未接收到数据的的时间间隔)。

windows

时间(Time)

在Stream的程序中提到的时间可以有不同的意义：

  • **事件时间(Event Time)**是创建事件的时间。它通常由事件中的时间戳来描述，例如由生产传感器或生产服务附加的时间戳。Flink通过时间戳分配程序访问事件时间戳。

  • **接收时间(Ingestion time)**是事件在source进入Flink数据流的时间。在平时开发的时候很少会用到。

  • **处理时间(Processing Time)**是每个operator的本地时间。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KBJn7eUm-1573656040722)(https://ci.apache.org/projects/flink/flink-docs-release-1.9/fig/event_ingestion_processing_time.svg)]

有状态的操作 Stateful Operations

虽然数据流中大多数只操作事件本身(单条处理)(如事件解析)，但有些操作需要记录多个事件的信息(例如窗口操作)。这些操作称为有状态的。

使用一个嵌入式的key/value存储对象来存储状态。状态是分区和分布式的并且跟有状态的操作绑定。因此，只有在keyBy()函数之后才能访问key/value状态，并且只能访问与当前事件的键相关的值。将流的键和状态对齐，可以确保所有状态更新都是本地操作，从而保证一致性而不增加事务开销。这种对齐还允许Flink重新分配状态并透明地调整流分区。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Rlac5vOk-1573656040725)(https://ci.apache.org/projects/flink/flink-docs-release-1.9/fig/state_partitioning.svg)]

检查点和容错(Checkpoints for Fault Tolerance)

Flink使用流回放和checkpoint的组合实现容错。checkpoint与每个输入流中的特定点以及每个操作符的对应状态相关。数据流可以从检查点恢复，同时通过恢复操作符的状态并从检查点重播事件来保持一致性(exactly-once)。

检查点间隔是一种用恢复时间(需要重播的事件数量)来平衡执行期间的容错开销的方法。

Batch on Streaming

批处理作为Flink流程序的特殊情况，其中流是有界的(元素的有限数量)(可以理解成为一个有限个元素的大窗口)。数据集在内部被视为数据流。因此，可以将批数据当做流数据来处理，只有少数例外:

  • 批处理程序的容错不使用检查点。恢复是通过完全重放流来实现的。这是可能的，因为输入是有界的。这将使成本更接近于恢复，但使常规处理更便宜，因为它避免了检查点。

  • DataSet API中的有状态操作使用简化的n-memory/out-of-core 数据结构，而不是key/value索引。

  • DataSet API引入了特殊的同步(superstep-based)迭代，这只可能在有界的流上实现。

关注我的公众号

了解我的最新动向
qrcode_for_gh_eac3d4651e58_344

收藏我的个人博客

wuxuyang_7788
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink的Table API和Flink SQL
bigdata_wangzhe的博客
03-15 382
基本程序结构 Table API 和 SQL 的程序结构，与流式处理的程序结构十分类似 val tableEnv=。。。 // 创建表的执行环境 // 创建一张表，用于读取数据 tableEnv.connect(...).createTemporaryTable("inputTable") // 注册一张表，用于把计算结果输出 tableEnv.connect(...).createTemporaryTable("outputTable") // 通过 Table API 查询算子，得到一张结果表 val
大数据技术之Flink
痞子磊的博客
08-04 422
1.1 初识 Flink Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林 的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的 代 码被 复制 并捐赠 给了 Apache 软件基 金会， 参加 这个 孵化项 目的 初始 成员 是 Stratosphere 系统的核心开发人员，2014 年 12 月，Flink 一跃成为 Apache 软件基金 会的顶级项目。 在德语中，Fl.
Flink入门编程
记录点点滴滴
04-19 4155
2.Flink入门编程 环境准备 创建项目 创建工程 添加项目依赖 配置日志管理 编写代码 批处理 运行程序 流处理 读取文件 运行程序 读取文本流
Flink编程基础/基本框架
breakout_alex的博客
07-17 345
Flink程序是对数据流，进行各种分布式处理/转换。通过sources创建输入的数据流(可以读取文件，从kafka的topic读取，或者内存的collecitons)；结果通过Sinks输出，可以写到本不是文件系统上，或者输出到标准输出。Flink程序可以独立运行，也可以嵌入到其它程序中运行；Flink可以在本机的JVM中执行，也可以提交到多机器的集群上执行。 Flink程序分为批处理和流处理两种，批处理用来处理有限的数据集，流处理用来处理持续的流数据。这两种类型的基本编程模式是类似的，本别使用DataS
Flink教程（04）- Flink入门案例
阿甘兄
03-07 2561
文章目录01 引言02 开发前准备2.1 API2.2 编程模型03 入门案例3.1 项目搭建3.2 代码实现3.2.1 基于DataSet3.2.2 基于DataStream3.2.3 Lambda版3.2.3 在Yarn上运行04 Flink原理 01 引言 在前面的博客，我们已经可以基本把Flink的环境搭建起来了，有兴趣的同学可以参阅下： 《Flink教程（01）- Flink知识图谱》 《Flink教程（02）- Flink入门》 《Flink教程（03）- Flink环境搭建》 Flink
Flink保姆级教程,超详细,教学集成多个第三方工具(从入门到精通)
最新发布
Oz_Mood的博客
04-02 3390
Flink 允许你通过实现接口来创建自定义数据源。// 定义一个自定义数据源Thread.sleep(1000) // 模拟数据生成延迟// 创建执行环境// 添加自定义数据源// 打印数据流// 启动 Flink 作业以上示例展示了如何在 Scala 中使用 Flink DataStream API 来从不同的数据源获取数据。每个示例都包含了创建数据流的代码和对数据流进行操作的注释。这些示例可以作为构建更复杂 Flink 流处理作业的起点。
大数据技术与应用基础-教学大纲.docx
11-24
在Hadoop部分，课程深入讲解了Hadoop单机和集群环境的部署，强调了HDFS（Hadoop Distributed File System）的基本概念和使用，以及MapReduce编程模型。学生将学习如何使用Hadoop的JAVA API接口编写Map和Reduce过程，...
大数据技术与应用基础-教学大纲 (2).pdf
10-31
4. HDFS基本应用：学习HDFS的Java API接口，理解数据流原理，能够编写简单的HDFS操作程序。 5. MapReduce应用开发：掌握MapReduce编程模型，理解Map和Reduce阶段的工作流程，学会利用MapReduce解决实际问题。 6. ...
大数据技术与应用基础教学大纲.docx
10-31
8. 开源集群计算环境Spark：理解Spark的快速计算模型，熟悉Spark编程环境，学习使用RDD和Spark API进行数据处理。 9. 流实时处理系统Storm：学习Storm的基本概念和工作原理，掌握Storm的安装配置，能实现简单的实时...
大数据技术和应用基础_教学大纲.doc
10-10
课程【教学要求】明确指出，学生需要了解大数据的基本概念和技术层面，包括Scrapy爬虫的使用、Hadoop的部署、HDFS的概念和操作、MapReduce编程模型、HBase和Hive的应用、Spark和Storm的工作原理，以及Apex、Druid和...
大数据技术与应用基础_教学大纲.docx
10-31
Hadoop是大数据处理的基础，课程讲解了Hadoop的基础理论，包括Hadoop单机和集群环境的部署，HDFS（Hadoop分布式文件系统）的概念和作用，以及MapReduce编程模型。学生将学习如何编写Map和Reduce函数，以解决实际问题...
大数据中必须要掌握的 Flink SQL 详细剖析
yuan_more的博客
11-05 4571
目录 1. Flink SQL 常用算子 2. Flink SQL 实战案例 Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就是我们熟知的 Blink。Blink 在原来的 Flink 基础上最显著的一个贡献就是 Flink SQL 的
使用kibana界面导出数据
热门推荐
wuxuyang_7788的博客
12-23 2万+
基于kibana 6+ 1 Management -> create index patterns 选择你需要的索，并创建 之后一路确定就可以。 2 Discover -> query -> save 根据你的实际情况和查询条件查询你想要的数据 保存你的查询结果。 3 share and report 设置...
Table 和 tableSink schema不匹配问题
wuxuyang_7788的博客
12-20 3641
使用SQL 查询获取一个table结果，但通过JsonRowSerializationSchem.Builder(string schema).build()构造出来的table schema 无法与之相匹配 背景 做一个统计，随将Datastream 注册成了Table，并使用SQL获取一个简单的查询结果。最后将数据写入Es。 上代码： public class AggregationFunct...
Flink简单教学3-编写你的第一个flink程序
wuxuyang_7788的博客
11-12 797
编写你的第一个flink程序 被公认为大数据的hello world程序world count。我们将用flink Stream 编写一个通socket中读取字符并统计出结果。   创建maven工程，指定JAVA编译版本1.8 <build> <plugins> <plugin> <groupId...
一个由于JAR冲突导致的Flink checkpoint失败的问题
wuxuyang_7788的博客
03-05 536
开门见山 上报错 2020-03-05 16:30:08,219 WARN org.apache.hadoop.hdfs.DFSClient - DataStreamer Exception javax.xml.parsers.FactoryConfigurationError: Provider for class javax.xml....
我提交的第一个Flink commit - Flink 闭包检查
wuxuyang_7788的博客
10-23 496
为什么闭包 Flink中算子都是通过序列化分发到各节点上，所以要确保算子对象是可以被序列化的。算子的成员变量，代码中的匿名内部类都是检查的范围。 闭包检查入库 被调用的入口是 StreamExecutionEnvironment#clean() 而真正执行闭包检查的是ClosureCleaner#clean()代码不复杂。我们之间看代码来分析 private static void clean(Object func, ExecutionConfig.ClosureCleanerLevel level, b
FLINK源码阅读-FLINK LOCAL 模式启动过程
wuxuyang_7788的博客
10-10 468
从StreamExecutionEnvironment跟进去可以看到，实现类里面有个LocalStreamEnvironment,这个就是local模式启动的入口从 StreamExecutionEnvironment.execute() 进去 public JobExecutionResult execute() throws Exception { return execute(DEFAU...
flink通过flink-connector-tidb-cdc使用streamapi方式连接tidb
04-04
Flink通过Flink-connector-tidb-cdc连接TiDB的过程相对简单，只需要准备好TiDB实例、TiCDC组件和Flink-connector-tidb-cdc依赖的jar包，然后使用Flink的Stream API进行编写即可。通过这种方式，可以实现实时的数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值