ProcessFunction 使用分析

已于 2022-03-12 13:04:10 修改
阅读量439 收藏
点赞数
分类专栏： Flink系统性学习专栏 文章标签： 爬虫 面试 自然语言处理
于 2021-08-28 22:53:47 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/119974709
版权

《2021年最新版大数据面试题全面开启更新》

ProcessFunction 是flink 提供面向用户low-level 层级的api，通过ProcessFunction可以访问state、注册处理时间/事件时间定时器来帮助我们完成一些比较复杂的操作，但是其有一个限制那就是只用使用在keyedStream中，是由于根据getRuntimeContext 得到的StreamingRuntimeContext 只提供了KeyedStateStore的访问权限，所以只能访问keyd state， 另外根据前面的分析可知，注册的定时器必须是与key相关，也就解释了在ProcessFunction中只能在keyedStream做定时器注册。目前在flink中，提供了ProcessFunction与KeyedProcessFunction 这两个面向用户的api，但是ProcessFunction却无法帮助我们注册定时器，透过源码(ProcessOperator)可以发现，注册时会主动抛出UnsupportedOperationException异常。今天重点在于分析KeyedProcessFunction 是如何完成定时功能。

首先以官方文档为例来了解其用法，完成单词计数，并且定时输出功能，文档里面是定义了一个继承ProcessFunction 的的类，猜想这里应该是很早之前的版本文档。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink ProcessFunction 使用总结
congge_study的博客
03-26 6381
Flink ProcessFunction 使用总结
Flink系：ProcessFunction的使用方法
NIO4444
04-19 461
目录 ProcessFunction是什么 允许访问所有(非循环)流应用程序的基本构件 8个Process Function 2种类型计时器 如何使用ProcessFunction ProcessFunction使用注意事项 例子 扩展 ProcessFunction是什么 Flink的转换操作是无法访问事件的时间戳信息和水印信息的。例如我们常用的MapFunction转换操作就无法访问时间戳或者当前事件的事件时间。而这在一些应用场景下，极为重要。 因此，Flink DataStre
Flink处理函数实战之一：深入了解ProcessFunction的状态(Flink-1.10)
gumenghua_com1的博客
11-19 548
关于ProcessFunction状态的疑惑 学习Flink的ProcessFunction过程中，官方文档中涉及状态处理的时候，不止一次提到只适用于keyed stream的元素，如下图红框所示： 之前写过一些flink应用，keyed stream常用但不是必须用的，所以产生了疑问： 为何只有keyed stream的元素能读写状态？ 每个key对应的状态是如何操作的？ Flink的"状态" 先去回顾Flink"状态"的知识点： 官方文档说就两种状态：keyed state和operator stat
关于Flink--ProcessFunction的使用
手提青灯觅佳人的博客
06-15 300
一、概念： 处理函数(底层API)，可以访问时间戳，水位线以及注册定时时间，还可以输出特定事件(超时事件) Flink主要提供了8个ProcessFunction(斜体标注的重要)： ProcessFunction KeyedProcessFunction CoProcessFunction ProcessJoinFunction BroadcastProcessFunction Ke...
ProcessFunction API(底层 API)
weixin_41836276的博客
08-31 115
ProcessFunction API(底层 API) 转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下,极为重要。例如 Mapfunction这样的map转换算子 就无法访问时间戳或者当前事件的事件时间。 基于此, Datastream API提供了一系列的Low- Level转换算子。可以访问时间戳、 watermark以及注册定时事件。还可以输出特定 的一些事件,例如超时事件等。 Process Function用来构建事件驱动的应用以及实现自定义的....
基于flink的电商实时数据分析、推荐、风控项目java源码+项目使用说明.zip
最新发布
05-31
基于flink的电商实时数据分析、推荐、风控项目java源码+项目使用说明.zip 项目本身是基于Flink+ClickHouse的Lambda架构，使用drools规则引擎，基于Spring boot+Vue构建规则的管理系统（还在构建中，支持规则、模板、...
基于Flink的安全数据分析与异常检测.pdf
12-03
日志收集阶段通常涉及使用工具如Beats，它可以迅速接入数据并利用Logstash进行初步清洗、扩展和过滤。Logstash虽然功能强大，但其管道配置文件在数据关联等复杂操作上存在局限。 接着，数据进入处理阶段，需要对...
尚硅谷大数据技术之电商用户行为数据分析1
08-04
其中，Flink的API和processFunction被用来处理复杂的业务逻辑，同时结合状态编程和复杂事件处理（CEP）进行异常检测。 4. **数据源解析** - **淘宝用户行为数据集**：包含用户ID、商品ID、商品类别ID、行为类型和...
大数据技术之电商用户行为数据分析.doc
11-23
在这个项目中，我们将使用 flink 作为数据处理的框架，并且灵活地使用底层的 processFunction，基于状态编程和 CEP 去处理更加复杂的情形。我们还将使用 Scala 编写项目主体，采用 IDEA 作为开发环境，采用 maven ...
尚硅谷大数据技术之电商用户行为数据分析 - Java版1
08-03
- **实时处理框架**：采用Flink作为数据处理的核心框架，利用EventTime处理事件时间，结合processFunction进行状态编程和复杂事件处理（CEP），以满足实时性需求。 - **模块细化**：包括实时热门商品统计、实时...
【白话Flink基础理论】Flink中的ProcessFunction API（底层 API）
橙心橙意橙续缘的博客
12-24 414
——wirte by 橙心橙意橙续缘， 前言 白话系列 ———————————————————————————— 也就是我在写作时完全不考虑写作方面的约束，完全把自己学到的东西、以及理由和所思考的东西等等都用大白话诉说出来，这样能够让信息最大化的从自己脑子里输出并且输入到有需要的同学的脑中。PS：较为专业的地方还是会用专业口语诉说，大家放心！ 白话Flink系列 ———————————————————————————— 主要是记录本人（国内某985研究生）在Flink基础理论阶段学习的一些所学，更重要的是一
95-138-010-源码-Function-ProcessFunction
九师兄
07-03 381
1.概述 一些算子和函数能够进行一些时间上的操作，但是不能获取算子当前的Processing Time或者是Watermark时间戳，调用起来简单但功能相对受限。如果想获取数据流中Watermark的时间戳，或者在时间上前后穿梭，需要使用ProcessFunction系列函数，它们是Flink体系中最底层的API，提供了对数据流更细粒度的操作权限。Flink SQL是基于这些函数实现的，一些需要...
Flink的Process Function(低层次操作)和状态
xiaopeigen的专栏
08-31 808
Process Function(过程函数) ProcessFunction是一个低层次的流处理操作，允许返回所有(无环的)流程序的基础构建模块: 　　1、事件(event)(流元素) 　　2、状态(state)(容错性，一致性，仅在keyed stream中) 　　3、定时器(timers)(event time和processing time， 仅在keyed stream中) ProcessFunction可以认为是能够访问到keyed state和timers的FlatMapFunction，输
java Flink（三十七）Flink底层ProcessFunction的常见ProcessFunction总结以及简单使用
qq_40771567的博客
07-23 1308
在flink中，转换算子是无法访问事件的时间戳信息和水位线信息的。 所以！ flink提供了一些列的Low-Level转换算法，他们可以访问时间戳，watermark以及注册定时器。 总结： ProcessFunction可以被认为是一种提供了对状态和定时器访问的FlatMapFunction，没接收到一个数据流都会进行处理，可以通过访问时间戳来进行设置定时器等操作。 flink提供了8个ProcessFunction： ProcessFunction dataStrea...
低级处理函数ProcessFunction
数据工匠记
02-23 2479
原文链接：https://zhuanlan.zhihu.com/p/130708277 1. ProcessFunction定义 ProcessFunction 函数是低阶流处理算子，可以访问流应用程序所有（非循环）基本构建块： 事件 (数据流元素) 状态 (容错和一致性，仅用于keyed stream) 定时器 (事件时间和处理时间，仅用于keyed stream) ProcessFunction 可以被认为是一种提供了对 KeyedState 和定时器访问的 FlatMapFunction。每在.
Flink state状态 与 ProcessFunction API
忄凝^的博客
09-06 700
这里目录1.简介2、Flink 搭建3、Flink 运行架构4、程序与数据流（DataFlow）5、Flink 流处理API6、Window 窗口机制7、时间语义与watermark8、状态管理State8.1、状态概述8.2. 类型8.3. 算子状态（Operator State）8.3.2. 算子状态的数据结构8.4. 键控状态（Keyed State）8.4.2. 键控状态的数据结构8.3. 状态的挑战8.4. 任务失败8.5、状态后端State Backends8.5.1. MemoryStateB
process-进程详解-python
gaogzhen的博客
01-12 1433
文章目录1、概念2、进程的创建2.1、Process类简介2.2、创建进程2.3、守护进程3、进程池4、进程间通信 1、概念 关于进程或者线程的一些基本的概念这里不再详述，给出一些参考链接。 进程和程序 进程（线程）状态 并发和并行 同步和异步 阻塞和非阻塞 参考地址： 多线程入门-并发编程(Java) Python基础之进程（Process） 2、进程的创建 进程的创建因操作系统不同，方式也不一样。因为目前大部分时间本人都是用的windows系统，这里就以windows系统为例讲解，关于linux
Flink-处理函数
m0_63475429的博客
10-16 1249
在处理函数中，我们直面的就是数据流中最基本的元素：数据事件（event）、状态（state） 以及时间（time）。这就相当于对流有了完全的控制权。处理函数比较抽象，没有具体的操作， 所以对于一些常见的简单应用（比如求和、开窗口）会显得有些麻烦；不过正是因为它不限定 具体做什么，所以理论上我们可以做任何事情，实现所有需求。所以可以说，处理函数是我们 进行 Flink 编程的“大招”，轻易不用，一旦放出来必然会扫平一切。
flink processfunction
03-16
Flink ProcessFunction 是 Flink 中一个重要的函数式编程概念，它可以用于实现流处理中的各种复杂逻辑。ProcessFunction 可以访问流中的每个元素，并且可以维护内部状态，从而实现更加灵活的流处理。ProcessFunction...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值