ProcessFunction 使用分析

已于 2022-03-12 13:04:10 修改
阅读量467 收藏
点赞数
分类专栏： Flink系统性学习专栏 文章标签： 爬虫 面试 自然语言处理
于 2021-08-28 22:53:47 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/119974709
版权
本文深入探讨了Flink的ProcessFunction，作为面向用户的低级别API，它允许访问状态并注册处理时间/事件时间定时器。尽管ProcessFunction仅限于在keyedStream中使用，但KeyedProcessFunction则支持定时功能。通过分析源码，文章阐述了如何在KeyedProcessFunction中实现定时任务，包括数据处理逻辑和定时器触发机制。
摘要由CSDN通过智能技术生成

《2021年最新版大数据面试题全面开启更新》

ProcessFunction 是flink 提供面向用户low-level 层级的api，通过ProcessFunction可以访问state、注册处理时间/事件时间定时器来帮助我们完成一些比较复杂的操作，但是其有一个限制那就是只用使用在keyedStream中，是由于根据getRuntimeContext 得到的StreamingRuntimeContext 只提供了KeyedStateStore的访问权限，所以只能访问keyd state， 另外根据前面的分析可知，注册的定时器必须是与key相关，也就解释了在ProcessFunction中只能在keyedStream做定时器注册。目前在flink中，提供了ProcessFunction与KeyedProcessFunction 这两个面向用户的api，但是ProcessFunction却无法帮助我们注册定时器，透过源码(ProcessOperator)可以发现，注册时会主动抛出UnsupportedOperationException异常。今天重点在于分析KeyedProcessFunction 是如何完成定时功能。

首先以官方文档为例来了解其用法，完成单词计数，并且定

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
Flink ProcessFunction 使用总结
congge_study的博客
03-26 6420
Flink ProcessFunction 使用总结
Flink系：ProcessFunction的使用方法
NIO4444
04-19 476
目录 ProcessFunction是什么 允许访问所有(非循环)流应用程序的基本构件 8个Process Function 2种类型计时器 如何使用ProcessFunction ProcessFunction使用注意事项 例子 扩展 ProcessFunction是什么 Flink的转换操作是无法访问事件的时间戳信息和水印信息的。例如我们常用的MapFunction转换操作就无法访问时间戳或者当前事件的事件时间。而这在一些应用场景下，极为重要。 因此，Flink DataStre
Flink处理函数实战之一：深入了解ProcessFunction的状态(Flink-1.10)
gumenghua_com1的博客
11-19 594
关于ProcessFunction状态的疑惑 学习Flink的ProcessFunction过程中，官方文档中涉及状态处理的时候，不止一次提到只适用于keyed stream的元素，如下图红框所示： 之前写过一些flink应用，keyed stream常用但不是必须用的，所以产生了疑问： 为何只有keyed stream的元素能读写状态？ 每个key对应的状态是如何操作的？ Flink的"状态" 先去回顾Flink"状态"的知识点： 官方文档说就两种状态：keyed state和operator stat
关于Flink--ProcessFunction的使用
手提青灯觅佳人的博客
06-15 332
一、概念： 处理函数(底层API)，可以访问时间戳，水位线以及注册定时时间，还可以输出特定事件(超时事件) Flink主要提供了8个ProcessFunction(斜体标注的重要)： ProcessFunction KeyedProcessFunction CoProcessFunction ProcessJoinFunction BroadcastProcessFunction Ke...
Flink的处理函数——processFunction
雷神乐乐的博客
10-06 2592
Flink的处理函数——processFunction
95-170-046-源码-Time-Flink时间系统系列之ProcessFunction使用分析
九师兄
07-03 490
1.世界 2.概述 ​ ProcessFunction 是flink 提供面向用户low-level 层级的api，通过ProcessFunction可以访问state、注册处理时间/事件时间定时器来帮助我们完成一些比较复杂的操作。 ​ 但是其有一个限制那就是只用使用在keyedStream中，是由于根据getRuntimeContext 得到的StreamingRuntimeContext 只...
Flink:ProcessFunction源码分析
qq_24325581的博客
05-07 463
参考：https://zhuanlan.zhihu.com/p/130708277
如何使用 Flink ProcessFunction 处理宕机告警?
http://www.54tianzhisheng.cn/
09-22 375
ProcessFunction 介绍 在 1.2.5 节中讲了 Flink 的 API 分层，其中可以看见 Flink 的底层 API 就是 ProcessFunction，它是一个低阶的流处理操作，它可以访问流处理程序的基础构建模块：Event、State、Timer。ProcessFunction 可以被认为是一种提供了对 KeyedState 和定时器访问的 FlatMapFunction。...
Flink / Scala 实战 - 5.ProcessFunction 之间共用缓存测试
BITDDD小栈
08-17 666
Flink 开发中有如下场景，数据需要经过两次 ProcessFunction 处理，第一步 ProcessV1的一些信息重复不想通过每条数据传输至 ProcessV2，这时便捷的方法时对 ProcessV1 需要存储的元素进行去重缓存，保证全局共用一份缓存，可以有效减少储存空间，下面分别尝试三种缓存方式： A.ValueState 缓存 B.HashMapCache 缓存 C.RedisCahce 缓存......
Flink ProcessFunction不同流异同及应用场景
最新发布
大模型大数据攻城狮的专栏
06-28 1367
状态管理与事件时间：所有函数均支持事件时间和水位线处理，状态管理（除了），但Keyed系列额外支持键控状态。流处理处理多个流，而和支持广播状态传播。窗口处理和专用于窗口处理，前者基于键控窗口，后者处理全窗口数据。灵活性和最为灵活，适用于广泛的复杂逻辑处理；在窗口上下文中提供了额外的处理能力。
ProcessFunction API(底层 API)
weixin_41836276的博客
08-31 151
ProcessFunction API(底层 API) 转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下,极为重要。例如 Mapfunction这样的map转换算子 就无法访问时间戳或者当前事件的事件时间。 基于此, Datastream API提供了一系列的Low- Level转换算子。可以访问时间戳、 watermark以及注册定时事件。还可以输出特定 的一些事件,例如超时事件等。 Process Function用来构建事件驱动的应用以及实现自定义的....
Flink学习——处理函数ProcessFunction及多流转换
five小点心的博客
05-20 2837
处理函数processFunction、分流output、合流union/connect/join
【白话Flink基础理论】Flink中的ProcessFunction API（底层 API）
橙心橙意橙续缘的博客
12-24 572
——wirte by 橙心橙意橙续缘， 前言 白话系列 ———————————————————————————— 也就是我在写作时完全不考虑写作方面的约束，完全把自己学到的东西、以及理由和所思考的东西等等都用大白话诉说出来，这样能够让信息最大化的从自己脑子里输出并且输入到有需要的同学的脑中。PS：较为专业的地方还是会用专业口语诉说，大家放心！ 白话Flink系列 ———————————————————————————— 主要是记录本人（国内某985研究生）在Flink基础理论阶段学习的一些所学，更重要的是一
95-138-010-源码-Function-ProcessFunction
九师兄
07-03 399
1.概述 一些算子和函数能够进行一些时间上的操作，但是不能获取算子当前的Processing Time或者是Watermark时间戳，调用起来简单但功能相对受限。如果想获取数据流中Watermark的时间戳，或者在时间上前后穿梭，需要使用ProcessFunction系列函数，它们是Flink体系中最底层的API，提供了对数据流更细粒度的操作权限。Flink SQL是基于这些函数实现的，一些需要...
Flink的Process Function(低层次操作)和状态
xiaopeigen的专栏
08-31 843
Process Function(过程函数) ProcessFunction是一个低层次的流处理操作，允许返回所有(无环的)流程序的基础构建模块: 　　1、事件(event)(流元素) 　　2、状态(state)(容错性，一致性，仅在keyed stream中) 　　3、定时器(timers)(event time和processing time， 仅在keyed stream中) ProcessFunction可以认为是能够访问到keyed state和timers的FlatMapFunction，输
java Flink（三十七）Flink底层ProcessFunction的常见ProcessFunction总结以及简单使用
qq_40771567的博客
07-23 1387
在flink中，转换算子是无法访问事件的时间戳信息和水位线信息的。 所以！ flink提供了一些列的Low-Level转换算法，他们可以访问时间戳，watermark以及注册定时器。 总结： ProcessFunction可以被认为是一种提供了对状态和定时器访问的FlatMapFunction，没接收到一个数据流都会进行处理，可以通过访问时间戳来进行设置定时器等操作。 flink提供了8个ProcessFunction： ProcessFunction dataStrea...
低级处理函数ProcessFunction
数据工匠记
02-23 2519
原文链接：https://zhuanlan.zhihu.com/p/130708277 1. ProcessFunction定义 ProcessFunction 函数是低阶流处理算子，可以访问流应用程序所有（非循环）基本构建块： 事件 (数据流元素) 状态 (容错和一致性，仅用于keyed stream) 定时器 (事件时间和处理时间，仅用于keyed stream) ProcessFunction 可以被认为是一种提供了对 KeyedState 和定时器访问的 FlatMapFunction。每在.
Flink state状态 与 ProcessFunction API
忄凝^的博客
09-06 1041
这里目录1.简介2、Flink 搭建3、Flink 运行架构4、程序与数据流（DataFlow）5、Flink 流处理API6、Window 窗口机制7、时间语义与watermark8、状态管理State8.1、状态概述8.2. 类型8.3. 算子状态（Operator State）8.3.2. 算子状态的数据结构8.4. 键控状态（Keyed State）8.4.2. 键控状态的数据结构8.3. 状态的挑战8.4. 任务失败8.5、状态后端State Backends8.5.1. MemoryStateB
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值