Flink处理函数实战之一：深入了解ProcessFunction的状态(Flink-1

最新推荐文章于 2024-07-23 17:38:20 发布
最新推荐文章于 2024-07-23 17:38:20 发布
阅读量168 收藏 1
点赞数
分类专栏： 程序员 文章标签： 面试 后端 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63102464/article/details/121192243
版权
本文通过分析Flink官方ProcessFunction的demo，探讨如何理解processElement方法中state.value()和state.update(current)的运作机制。文章详细跟踪了源码，揭示了KeyedProcessFunction如何根据key维护状态，并解释了状态更新和获取的原理。
摘要由CSDN通过智能技术生成

官方demo

为了学习ProcessFunction就去看官方demo，地址是：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/operators/process_function.html ，简单说说这个demo的功能：

  1. 数据源在不间断的产生单词，每个单词对应一个Tuple2<String,String>的实例；

  2. 数据源被keyBy方法转成KeyedStream，key是Tuple2实例的f0字段；

  3. 一个KeyedProcessFunction的子类CountWithTimeoutFunction，被用来处理KeyedStream的每个元素，处理的逻辑：为每个key维护一个状态，状态的内容是这个key的出现次数和最后一次出现时间；

  4. 如果那个key连续一分钟没有出现，KeyedProcessFunction就向下游发送这个元素；

以上就是官方demo的功能，本来是想通过demo来加深认识，结果看完不但没有明白，反而更晕了，下图是我对demo代码的疑惑：

在这里插入图片描述

从上图可见我的疑惑，这里再复述一下：

5. 入参value是Tuple2类型，假设其f0字段等于aaa，那么processElem

最低0.47元/天 解锁文章
1024创新开发
关注
专栏目录
Flink ProcessFunction 使用总结
congge_study的博客
03-26 6404
Flink ProcessFunction 使用总结
CoProcessFunction实战三部曲之一：基本功能，软件技术java工程师方向
m0_63174420的博客
10-31 358
CoProcessFunction的作用是同时处理两个数据源的数据； 试想在面对两个输入流时，如果这两个流的数据之间有业务关系，该如何编码实现呢，例如下图中的操作，同时监听9998和9999端口，将收到的输出分别处理后，再由同一个sink处理(打印)： Flink支持的方式是扩展CoProcessFunction来处理，为了更清楚认识，我们把KeyedProcessFunction和CoProcessFunction的类图摆在一起看，如下所示： 从上图可见，CoProcessFunct..
Flink处理函数实战之一：深入了解ProcessFunction的状态(Flink-1.10)
gumenghua_com1的博客
11-19 581
关于ProcessFunction状态的疑惑 学习Flink的ProcessFunction过程中，官方文档中涉及状态处理的时候，不止一次提到只适用于keyed stream的元素，如下图红框所示： 之前写过一些flink应用，keyed stream常用但不是必须用的，所以产生了疑问： 为何只有keyed stream的元素能读写状态？ 每个key对应的状态是如何操作的？ Flink的"状态" 先去回顾Flink"状态"的知识点： 官方文档说就两种状态：keyed state和operator stat
Flink的Process Function(低层次操作)和状态
xiaopeigen的专栏
08-31 831
Process Function(过程函数) ProcessFunction是一个低层次的流处理操作，允许返回所有(无环的)流程序的基础构建模块: 　　1、事件(event)(流元素) 　　2、状态(state)(容错性，一致性，仅在keyed stream中) 　　3、定时器(timers)(event time和processing time， 仅在keyed stream中) ProcessFunction可以认为是能够访问到keyed state和timers的FlatMapFunction，输
flink flink实战 flink案例_Flink处理函数实战之二：KeyedProcessFunction类
weixin_39916549的博客
01-19 172
本文是《Flink处理函数实战》系列的第二篇，上一篇《Flink处理函数实战之一：ProcessFunction类》学习了最简单的ProcessFunction类，今天要了解的KeyedProcessFunction，以及该类带来的一些特性；关于KeyedProcessFunction通过对比类图可以确定，KeyedProcessFunction和ProcessFunction并无直接关系：Key...
Flink之ProcessFunction API（底层API）
heroking
02-01 619
一、产生背景 转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。 基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件...
Flink处理函数实战之三：KeyedProcessFunction类
2401_83916394的博客
04-23 979
看完美团、字节、腾讯这三家的一二三面试问题，是不是感觉问的特别多，可能咱们真的又得开启面试造火箭、工作拧螺丝的模式去准备下一次的面试了。开篇有提及我可是足足背下了Java互联网工程师面试1000题，多少还是有点用的呢，换汤不换药，不管面试官怎么问你，抓住本质即可！能读到此处的都是真爱Java互联网工程师面试1000题。
java双流程序_Flink处理函数实战之五：CoProcessFunction(双流处理)
weixin_35952427的博客
02-26 196
欢迎访问我的GitHub内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；欢迎访问我的GitHubFlink处理函数实战系列链接本篇概览本文是《Flink处理函数实战》系列的第五篇，学习内容是如何同时处理两个数据源的数据；试想在面对两个输入流时，如果这两个流的数据之间有业务关系，该如何编码实现呢，例如下图中的操作，同时监听9998和9999端口...
Flink学习笔记之Process Function
qq_38835878的博客
08-17 595
预计一周时间来完成这篇文章， 对Flink文档提供的基础入门的每个环节进行研究记录（目的是想参加阿里的Flink编程比赛）: 如图Flink提供了不同级别的抽象编程模型，先看最低级别的Stateful Stream Processing，它通过Process Function嵌入到DataStream API当中(有说法是在Flink未来的迭代过程当中会移除DataSet API, 在现有...
ProcessFunction 使用分析
微信搜：import_bigdata，大数据领域硬核原创作者
08-28 451
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 ProcessFunction 是flink 提供面向用户low-level 层级的api，通过ProcessFunction可以访问state、注册处理时间/事件时间定时器来帮助我们完成一些比较复杂的操作，但是其有一个限制那就是只用使用在keyedStream中，是由于根据getRuntimeCon
Flink流式计算之ProcessionFunction说明与案例
不以物喜的博客
07-13 434
0 ProcessFunction API 我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。 基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换
Flink的ProcessFunction的状态和定时器
xuehuagongzi000的博客
09-30 310
DataStream.process(processFucntion) KeyedDataStream .process(keyedProcessFunction) windowStream .process(processWindowFunction) connectedStream.process(CoProcessFunction) windowAllSteam.process(processAllWindowFunction)
一文弄明白KeyedProcessFunction函数
linchonghui888的博客
02-21 1326
监听本机7777端口读取字符串将每个字符串用空格分隔，转成Tuple2实例，f0是分隔后的单词，f1等于1将Tuple2实例集合通过f0字段分区，得到KeyedStreamKeyedSteam通过自定义KeyedProcessFunction处理自定义KeyedProcessFunction的作用，是记录每个单词最新一次出现的时间，然后建一个十秒的定时器进行触发。
Flink state状态 与 ProcessFunction API
忄凝^的博客
09-06 1023
这里目录1.简介2、Flink 搭建3、Flink 运行架构4、程序与数据流（DataFlow）5、Flink 流处理API6、Window 窗口机制7、时间语义与watermark8、状态管理State8.1、状态概述8.2. 类型8.3. 算子状态（Operator State）8.3.2. 算子状态的数据结构8.4. 键控状态（Keyed State）8.4.2. 键控状态的数据结构8.3. 状态的挑战8.4. 任务失败8.5、状态后端State Backends8.5.1. MemoryStateB
流批一体计算引擎-15-[Flink]有关KeyedStream中状态的使用
最新发布
qq_20466211的博客
07-23 57
keyed state接口提供不同类型状态的访问接口，这些状态都作用于当前输入数据的key下。
Flink处理函数实战之二：ProcessFunction类
a369966697的博客
04-30 668
本文从基础到高级再到实战，由浅入深，把MySQL讲的清清楚楚，明明白白，这应该是我目前为止看到过最好的有关MySQL的学习笔记了，我相信如果你把这份笔记认真看完后，无论是工作中碰到的问题还是被面试官问到的问题都能迎刃而解！MySQL50道高频面试题整理：《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门，即可获取！
flink1.14流批一体源码原理
u014508380的博客
07-11 538
flink1.14流批一体源码原理 AbstractStreamTaskNetworkInput#emitNext方法里，checkpointedInputGate.pollNext()收到Optional.empty() StreamOneInputP
Flink1.12使用KeyedProcessFunction实现温度监控（案例一）
RonieWhite的博客
03-16 1896
最近在哔站学习武老师Flink的教程，受益匪浅。其中关于Flink的一些案例，非常有意思，故记录下来。分享给感兴趣的朋友。 本次案例的场景是：假设有n个传感器，其温度值被记录下并灌到Kafka的主题里。我们需要读取这些数据并分析之，在10s内如果该温度值持续上升，则抛出警告信息。 实现方式：因为要在“指定时间内”温度“持续上升”，需要获取上下文状态，且需包含一个定时器的功能去指定一段时间，因此考虑到使用ProcessFunction，而因为要对n个传感器进行分组处理，所以考虑使用KeyedProc.
Flink实战解析：兼顾高吞吐与exactly-once的实时处理引擎
Flink开发实战深入解析Flink核心原理 在现代大数据处理领域，流处理技术逐渐成为关键，尤其是随着实时性和可靠性要求的提高，传统的大数据处理引擎如Storm和SparkStreaming面临着挑战。Storm虽然以其低延迟著称，但...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值