Flink中: 你的Function是如何被执行的

最新推荐文章于 2024-11-25 20:08:05 发布
最新推荐文章于 2024-11-25 20:08:05 发布
阅读量340 收藏
点赞数
文章标签： java flink spring 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013516966/article/details/125270313
版权
本文探讨了Flink中UserFunction的执行流程，从Job打包提交到TaskManager执行，详细解析了Task、StreamTask、OperatorChain和StreamOperator的角色。在Operator内部，如StreamMap，调用UserFunction的方法如map，实现业务逻辑。通过了解这一过程，有助于理解Flink的内部工作机制。
摘要由CSDN通过智能技术生成

在Flink编程中，不管你是使用DataStream api还是 Table/SQL ，接触最多的就是UserFunction ， 比喻说MapFunction、ScalarFunction, 在这些Function 里面可以自定义用户的业务处理逻辑，但是这些Function是如何被调用的呢？本文主要介绍Function 被调用的流程以及对应的方法如何被调用的。

核心调用逻辑

89d2e9ed0d0f9aafcbac187cce054db9.png

当我们编写完成一个Flink-Job 就会将代码打包成为jar提交到集群中去，当整个资源申请、任务调度完成之后就开始执行这个job，从source到transform 到最后sink 都是在TaskManager 资源节点中执行。Flink-Job 会被划分为一个个Task(整个任务中的一部分处理逻辑)节点， 每一个Task节点都在一个Thread中执行，在这个Thread中会不断的调用UserFunction的相应方法(如上图)。这个是一个大概的处理流程， 让用户只需要关心自身业务处理逻辑，无须关心网络通信、数据传输等流程。

接下来介绍具体的调用逻辑：

ac6e39aa2cfa3003c27a947eb0326f15.png

最低0.47元/天 解锁文章
pucheung
关注
Flink系列：WindowFunction使用方法
NIO4444
07-05 1204
语法 https://ci.apache.org/projects/flink/flink-docs-master/api/java/org/apache/flink/streaming/api/functions/windowing/WindowFunction.html 分组 分组的stream调用keyBy(…)和window(…) 非分组的stream中window()换成了windowAll(…) 触发器Trigger 每个 Window 都有一个...
【Flink】:ClassNotFoundException: org.apache.flink.streaming.api.functions.source.SourceFunction
一杯咖啡半杯糖的博客
10-26 3952
FLINK:ClassNotFoundException: org.apache.flink.streaming.api.functions.source.SourceFunction
flink执行流程
yaoyaobird11的博客
12-12 1940
Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> Physical Graph。 首先 StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。 这是在客户端刚开始提交任务时生成的，然后客户端还要对StreamGraph优化生成JobGraph JobGraph：是提交给 JobManager 的数据结构。主要的优化为: 将多个符合条件的节点 chain 在一
function的使用方法
qq_21952195的博客
12-28 547
Flink (Windows Function 窗口函数)
最新发布
GDDGHS_的博客
11-25 638
输入类型是输入流中的元素类型，AggregateFunction有一个add方法可以将一个输入元素添加到一个累加器中。该接口还具有创建初始累加器(createAccumulator方法)、将两个累加器合并到一个累加器(merge方法)以及从累加器中提取输出(类型为OUT)的方法。指在窗口触发的时候才会对窗口内的所有数据进行一次计算（等窗口的数据到齐，才开始进行聚合计算，可实现对窗口内的数据进行排序等需求）l 增量函数：窗口保存一份中间数据，每流入一个新元素，新元素与中间数据两两合一，生成新的中间数据。
Flink处理函数实战之三：KeyedProcessFunction类
程序员欣宸的博客
05-23 1万+
通过实战学习和了解处理函数的KeyedProcessFunction类
flink RichFunction 之坑
zztSky
07-02 2076
flink的RichMapFunction，RichSinkFunction等，并不能百分百做到每次只open一个数据库连接。在有些情况下他会一直创建然后销毁，创建销毁。 举例： val value = env.socketTextStream("192.168.13.11", 9090) val value2 = value.filter(x => { try { var a = 1 / 0 //此处若没有异常处理，任务不会断，但是会重复打开数据库连接.
Flink 实战问题（六）：Cannot instantiate user function、StreamCorruptedException: unexpected block data
在前进的路上
06-12 5189
Flink 任务提交，刚启动，一直运行报错：org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function、StreamCorruptedException: unexpected block data
聊聊Flink：Flink中的时间语义和Watermark详解
riemann_的博客
11-18 994
该篇主要讲Flink中的时间语义、Flink 水印机制以及Flink对乱序数据的三重保障。
Flink SQL: 高效解析 Kafka 数据并存储为 Parquet 至 HDFS
击水三千里的专栏
12-11 1385
Flink SQL应用程序的结构是通过定义一系列任务来执行实时数据处理，这些任务创建必要的表和视图，处理数据，然后将结果插入指定的接收器。这项工作利用 Flink 的流处理能力以及 SQL 和 UDF 来转换和管理数据流
Flink 函数（function）
weixin_45903673的博客
07-26 1514
在Flink中函数的使用，Flink为用户提供了许多内置函数 如果这些函数还满足不了你的需求，还可以自定义函数 内置函数 比较函数 比较功能 描述 value1 = value2 如果value1等于value2，则返回 TRUE ；如果value1或value2为 NULL，则返回 UNKNOWN 。 用户自定义函数 ...
Apache Flink源码解析-StreamOperator接口实现
HZJ524717的专栏
01-25 1577
1、StreamOperator接口实现 如图所示，StreamOperator的定义如下 图1-StreamOperator接口 StreamOperator接口主要包括如下核心方法 open()：定义当前Operator的初始化方法，在数据元素正式接入Operator运算之前，Task会调用StreamOperator.open()方法对该算子进行初始化，具体open()方法的定义由子类实现，常见的用法如调用RichFunction中的open()方法创建相应的状态变量。 close().
Mybatis源码解读系列(五)-Executor
Feverasa的博客
12-21 478
这一篇我们再来梳理Mybatis中的Executor接口及其对应的实现类。 上一篇我们主要了解的是StatementHanlder，现在我们来了解另一个接口Executor执行器，前面的StatementHanlder就是在这里创建以及使用的。 一、Executor的结构 public interface Executor { ResultHandler NO_RESULT_HANDLER = null; int update(MappedStatement ms, Object paramete
Flink处理函数（ProcessFunction、KeyedProcessFunction、ProcessWindowFunction、 ProcessAllWindowFunction）
roi666的博客
01-23 1608
/定义一小时窗口@Overridecount++;
关于flink的时间处理不正确的现象复现&原因分析
weixin_34128411的博客
12-06 1245
　　跟朋友聊天，说输出的时间不对，之前测试没关注到这个，然后就在processing模式下看了下，发现时间确实不正确　　　　然后就debug,看问题在哪，最终分析出了原因，记录如下：　　　   最下面给出了复现方案及原因分析　　　　let me show how to generate the wrong result　　　　background: processing time in tumbl...
Flink开发中遇到的问题及解法
热门推荐
小龙的博客
04-09 1万+
1. 当Source是Kafka的时候，如何设置Source Operator的并发度？如果没有指定，Source Operator的个数与集群中的TaskManager的个数相等。如果手动设置，建议使用的slot个数=Kafka Partition的个数／TaskManager的个数。此时，Slot的个数需大于等于2.因为其中有一个Source Operator。也不建议在一个Slot中启用多线...
Flink-处理函数
m0_63475429的博客
10-16 1403
在处理函数中，我们直面的就是数据流中最基本的元素：数据事件（event）、状态（state） 以及时间（time）。这就相当于对流有了完全的控制权。处理函数比较抽象，没有具体的操作， 所以对于一些常见的简单应用（比如求和、开窗口）会显得有些麻烦；不过正是因为它不限定 具体做什么，所以理论上我们可以做任何事情，实现所有需求。所以可以说，处理函数是我们 进行 Flink 编程的“大招”，轻易不用，一旦放出来必然会扫平一切。
Flink使用MapFunction实现类编程
mischen520的博客
06-29 1274
得到一个新的数据流:新的流的元素是原来流的元素的平方 package com.mischen.it; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; /** * @ClassName Flink01_TransForm_Map_Anonymous * @Descriptio.
深入解析Flink：checkpoint生命周期与执行流程
这篇文档详细介绍了Flink的checkpoint机制及其在作业执行流程中的作用，同时也涵盖了Flink的整个执行框架，包括JobManager和TaskManager的工作原理，以及StreamOperator的实现，为理解Flink的内部工作机制提供了深入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值