95-136-042-源码-Operator-AbstractUdfStreamOperator

最新推荐文章于 2024-06-06 17:57:19 发布
最新推荐文章于 2024-06-06 17:57:19 发布
阅读量507 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105847026
版权
大数据-flink 专栏收录该内容
854 篇文章 856 订阅 ¥99.90 ¥299.90
订阅专栏
本文主要介绍了Apache Flink中的AbstractUdfStreamOperator，它是AbstractStreamOperator的抽象实现，用于用户定义的函数（UDF）。在Task的生命周期中，它会调用userFunction的方法。内容包括算子的生命周期管理，如初始化、关闭以及状态和checkpoint的处理。此外，还涉及了如何设置输出数据类型和调用userFunction的Checkpoint相关方法。
摘要由CSDN通过智能技术生成

1.视界

在这里插入图片描述

2.前文回顾

AbstractUdfStreamOperator 是继承AbstractStreamOperator的抽象实现类，其内部包含了userFunction, 在Task的生命周期都会调用userFunction中对应的方法；

​ AbstractUdfStreamOperator继承了AbstractStreamOperator，对其部分方法做了增强，多了一个成员变量UserFunction，并提供get方法。此外还实现了OutputTypeConfigurable接口的setOutputType方法对输出数据的类型做了设置。

  • 还是算子生命周期相关的方法：首先调用了前文提到的AbstractStreamOperator相应方法，然后为userFunction提供runtimeContext，Configuration，并且调用function的open和close方法。
  • 状态和checkpoint相关的方法： 首先调用父类相应方法，完成算子状态的别分与恢复，然后调用实现了Checkpoint相关的接口的userFunction的相关方法。

#3.拓扑图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F1YqVaNn-1588159712250)(00-flink/image-20200425180030896.png)]

九师兄
关注
专栏目录
订阅专栏
95-136-041-源码-Operator-AbstractStreamOperator
九师兄
07-03 528
1.视界 2.前文回顾 ​ AbstractStreamOperator 该抽象类为实现一个具体的operator提供基本的支持，Flink内置提供的operator全部都直接或间接继承自AbstractStreamOperator。 它内部包含了三大类的属性： 配置属性 运行时属性 键值对状态属性 大都数方法都是辅助方法，值得一提的是setup方法。从这里我们可以看到所有operator标识...
【Flink】Flink自带的测试类 AbstractStreamOperatorTestHarness
九师兄
06-27 906
1. 背景 我拷贝了一段代码，这个是gradle项目中的，我现在拷贝到maven项目中。发现有个测试类没有。 然后到gradle项目中找这个发现在flink-streaming-java_2.11-1.10.0-tests.jar 这个里面，然后我去发现我的maven已经引入了。 但是没有这个类，最后试来试去，都没找到为啥。后来查看了官网添加链接描述 官网引入如下 dependency> <groupId>org.apache.flink</groupId> &.
Flink 1.12.2 源码浅析 : AbstractUdfStreamOperator
张伯毅的专栏
04-15 630
.一 .前言二 .xxxxxx2.1. xxx2.2. xxx2.3. xxx2.4. xxx2.5. xxx2.6. xxx三 .xxxxxx3.1. xxx3.2. xxx3.3. xxx3.4. xxx3.5. xxx3.6. xxx四 .xxxxxx4.1. xxx4.2. xxx4.3. xxx4.4. xxx4.5. xxx4.6. xxx五 .xxxxxx六 .xxxxxx七 .xxxxxx 一 .前言 二 .xxxxxx 2.1. xxx 2.2. xxx 2.3. xxx 2.4. xxx
AbstractStreamOperator
qq_36329933的博客
11-10 211
私有变量 InternalTimeServiceManager<?> timeServiceManager initializeState方法 @Override public final void initializeState(StreamTaskStateInitializer streamTaskStateManager) throws Exception { final TypeSerializer<?> keySerializer = confi..
StreamOperator源码简析
张普的专栏
12-04 400
点击上方蓝字关注~ StreamOperator是任务执行过程中实际处理类，上层由StreamTask调用，下层调用UserFunction,列举一些常见的StreamOpe...
95-136-040-源码-Operator-Operator简介
九师兄
07-03 434
1.视界 2.前文回顾 ​ Transformation是所有transformation的抽象类，提供了实现transformation的基础功能。每一个DataStream都有一个与之对应的Transformation。 ​ 你可以将transformation看成编写Flink程序并构建流式处理程序的必要组成部分（静态表现形式）；而本篇我们将探讨transformation在Flink运...
95-136-043-源码-Operator-CoProcessOperator
九师兄
07-03 491
Window Join 可以方便地对两个数据流进行关联操作。但有些使用场景中，我们需要的并非关联操作，ConnectedStreams 提供了更为通用的双流操作。 ​ ConnectedStreams 配合 CoProcessFunction 或 KeyedCoProcessFunction 使用，KeyedCoProcessFunction 要求连接的两个 stream 都是 KeyedStre...
95-230-022-源码-WordCount走读-OperatorChain
九师兄
07-03 450
1.视界 2. 概述 2.1 OperatorChain 的重要属性 // 所有的操作符，最后每一个 StreamNode 都会包含一个 StreamOperator // 因为不含 StreamOperator 的 transformation 都变成 StreamEdge 的属性了 private final StreamOperator<?>[] allOperators; ...
Flink 源码解析（六）从数据输入到数据处理 OneInputStreamOperator & AbstractUdfStreamOperator
xingdianp的博客
11-27 463
从数据输入到数据处理——OneInputStreamOperator & AbstractUdfStreamOperator StreamSource是用来开启整个流的算子，而承接输入数据并进行处理的算子就是OneInputStreamOperator、TwoInputStreamOperator等。 整个StreamOperator的继承关系如上图所示（图很大，建议点开放大看）。 OneInputStreamOperator这个接口的逻辑很简单： public interface OneInpu
FLink之StreamOperator
m0_43437171的博客
01-31 1427
AbstractStreamOperator作为StreamOperator的基本实现类，所有的Operator都会继承和实现该抽象方法用于存储KeyedState的状态管理后端，默认为HashMapStateBackend。如果配置RocksDB作为状态存储后端，则此处为RocksDBKeyedStateBackend。
Apache Flink源码解析-StreamOperator接口实现
HZJ524717的专栏
01-25 1528
1、StreamOperator接口实现 如图所示，StreamOperator的定义如下 图1-StreamOperator接口 StreamOperator接口主要包括如下核心方法 open()：定义当前Operator的初始化方法，在数据元素正式接入Operator运算之前，Task会调用StreamOperator.open()方法对该算子进行初始化，具体open()方法的定义由子类实现，常见的用法如调用RichFunction中的open()方法创建相应的状态变量。 close().
Flink协调器Coordinator及自定义Operator
shirukai
06-06 1523
最近的项目开发过程中，使用到了Flink中的协调器以及自定义算子相关的内容，本篇文章主要介绍Flink中的协调器是什么，如何用，以及协调器与算子间的交互。
聊聊flink StreamOperator的initializeState方法
weixin_34061042的博客
12-08 356
序 本文主要研究一下flink StreamOperator的initializeState方法 Task.run flink-runtime_2.11-1.7.0-sources.jar!/org/apache/flink/runtime/taskmanager/Task.java public class Task implements Runnable, TaskActions, Check...
Apache Flink源码解析之stream-operator
热门推荐
VinoYang的专栏
05-21 1万+
前面我们谈论了Flink stream中的transformation。你可以将transformation看成编写Flink程序并构建流式处理程序的必要组成部分（静态表现形式）；而本篇我们将探讨transformation在Flink运行时对应的动态表现形式——operator。
【Flink】Flink自定义UDF以及为函数启用别名
九师兄
06-27 889
1.概述 不启用别名，直接使用类名的方法请参考：【Flink】Could not instantiate the executor. Make sure a planner module is on the classpath 下面案例是使用 别名 函数定义如下 package org.apache.flink.table.sql.function.udf; import io.siddhi.annotation.Example; import io.siddhi.annotation.Extension
Spark之hive的UDF自定义函数
九师兄
07-04 7730
1.简单的 package com.llcc.sparkSql.MyTimeSort import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.hive.HiveContext object UDFDemo1 { def main(args:Array[String]):Unit = { val conf = new SparkConf().setAppName("aa") val .
三种hive和flink的UDF/UDTF的实现方式
User_kh的博客
06-10 1133
继承UDF类或者ScalarFunction类 实现一个或者多个名字为eval的方法，该方法会被hive识别并执行 在这里插入代码片package Demo; import org.apache.flink.table.functions.ScalarFunction; /** * @author huki * date 2020-06-09 */ public class SimpleUDF extends ScalarFunction { /** * 实现一个在字符串后添加版
【水果识别】基于matlab GUI形态学水果大小识别【含Matlab源码 920期】.md
最新发布
10-15
CSDN Matlab武动乾坤上传的资料均有对应的代码，代码均可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博客文章底部QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 图像识别：表盘识别、车道线识别、车牌识别、答题卡识别、电器识别、跌倒检测、动物识别、发票识别、服装识别、汉字识别、红绿灯识别、火灾检测、疾病分类、交通标志牌识别、口罩识别、裂缝识别、目标跟踪、疲劳检测、身份证识别、人民币识别、数字字母识别、手势识别、树叶识别、水果分级、条形码识别、瑕疵检测、芯片识别、指纹识别
透过源码解析Flink执行流程与核心概念
**StreamOperator** 是Flink实现各种算子的基础，包括数据源（如 `StreamSource`）、数据处理（如 `OneInputStreamOperator` 和 `AbstractUdfStreamOperator`）和数据输出（如 `StreamSink`）等。此外，Flink还提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值