Flink ProcessFunction 使用总结

已于 2022-03-26 22:37:39 修改
阅读量6.3k 收藏
点赞数 2
分类专栏： flink 入门到精通 文章标签： ProcessFunction
于 2022-03-26 22:02:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/congge_study/article/details/123764526
版权
本文详细介绍了Flink的ProcessFunction，它作为低层次的流处理操作，提供事件、状态和定时器处理能力。ProcessFunction能访问keyed state和timers，用于处理keyed stream中的事件，并具有容错性。文章探讨了为何使用ProcessFunction，特别是在需要考虑事件时间戳和水位线的场景下。还列举了Flink提供的多种ProcessFunction类型，并通过一个实际案例展示了如何在业务场景中使用ProcessFunction实现数据趋势告警功能。
摘要由CSDN通过智能技术生成

什么是ProcessFunction

ProcessFunction是一个低层次的流处理操作，允许返回所有(无环的)流程序的基础构建模块:

  • 事件(event)(流元素)
  • 状态(state)(容错性，一致性，仅在keyed stream中)
  • 定时器(timers)(event time和processing time， 仅在keyed stream中)

ProcessFunction可以认为是能够访问到keyed state和timers的FlatMapFunction，输入流中接收到的每个事件都会调用它来处理。

对于容错性状态，ProcessFunction可以通过RuntimeContext来访问Flink的keyed state，方法与其他状态性函数访问keyed state一样。

定时器允许应用程序对processing time和event time的变化做出反应，每次对process

了解本专栏 订阅专栏 解锁全文 超级会员免费看
逆风飞翔的小叔
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
订阅专栏
ProcessFunction 使用分析
微信搜：import_bigdata，大数据领域硬核原创作者
08-28 445
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 ProcessFunction 是flink 提供面向用户low-level 层级的api，通过ProcessFunction可以访问state、注册处理时间/事件时间定时器来帮助我们完成一些比较复杂的操作，但是其有一个限制那就是只用使用在keyedStream中，是由于根据getRuntimeCon
Flink处理函数实战之一：深入了解ProcessFunction的状态(Flink-1.10)
gumenghua_com1的博客
11-19 574
关于ProcessFunction状态的疑惑 学习Flink的ProcessFunction过程中，官方文档中涉及状态处理的时候，不止一次提到只适用于keyed stream的元素，如下图红框所示： 之前写过一些flink应用，keyed stream常用但不是必须用的，所以产生了疑问： 为何只有keyed stream的元素能读写状态？ 每个key对应的状态是如何操作的？ Flink的"状态" 先去回顾Flink"状态"的知识点： 官方文档说就两种状态：keyed state和operator stat
Flink process function使用详解
Aspirin's Nest
12-19 2579
前言 process function是flink中比较底层的函数。能够实现一些高层函数无法实现的功能。它可以操作三个非常重要的对象： event：数据流中的单个元素 state：状态 timers：（事件时间或处理时间）定时器，仅在keyedStream中可以访问。 process function可以看做是可以访问state和timer的flatmap function。 代码 假设有这样一个需求，实现session window的功能。每个间隔时间为6s的“window”输出对应<key,c
Flink 如何使用ProcessFunction
10-15 9689
1. ProcessFunction ProcessFunction 函数是低阶流处理算子，可以访问流应用程序所有（非循环）基本构建块： 事件 (数据流元素) 状态 (容错和一致性) 定时器 (事件时间和处理时间) ProcessFunction 可以被认为是一种提供了对 KeyedState 和定时器访问的 FlatMapFunction。每在输入流中接收到一个事件，就会调用来此函数来处理。...
Flink / Scala 实战 - 6.使用 Jedis、JedisPool 作为 Source 读取数据
BITDDD小栈
08-18 1213
现在有一批数据写入多台 Redis 相同 key 的队列中，需要消费 Redis 队列作为 Flink Source，为了提高可用性，下面基于 JedisPool 进行队列的消费。
Flink / Scala 实战 - 5.ProcessFunction 之间共用缓存测试
BITDDD小栈
08-17 636
Flink 开发中有如下场景，数据需要经过两次 ProcessFunction 处理，第一步 ProcessV1的一些信息重复不想通过每条数据传输至 ProcessV2，这时便捷的方法时对 ProcessV1 需要存储的元素进行去重缓存，保证全局共用一份缓存，可以有效减少储存空间，下面分别尝试三种缓存方式： A.ValueState 缓存 B.HashMapCache 缓存 C.RedisCahce 缓存......
Flink阶段总结
qq_36972345的博客
11-19 1088
Flink总结 TaskManager和Slots Task Slot 是静态的概念，是指 TaskManager 具有的并发执行能力，可以通过 参数 taskmanager.numberOfTaskSlots 进行配置，而并行度 parallelism 是动态概念， 即 TaskManager 运行程序时实际使用的并发能力，可以通过参数 parallelism.default 进行配置。 Dataflow Flink 程序由 Source、Transforma...
Flink知识点总结
XIAOMO__的博客
09-21 2004
1.什么是flink？ ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 Flink能够提供毫秒级别的延迟，同时保证了数据处理的低延时，高吞吐和结果的正确性，还提供了丰富的时间类型和窗口计算，Exactly-once （就一次）语义支持，另外还可以进行状态管理，并提供了CEP（复杂事件处理）的支持。 2.sparkstreaming 和 strom 有啥区别？ storm:实时，优点：良好的容错性，事务；并且是单一的框架 sparkString:批处理，.
Flink学习笔记：Operators之Process Function
大数据研习社
03-22 5926
说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程： Flink大数据项目实战：http://t.cn/ExrHPl9 Process Function 1.1分层API Flink提供三层API. 每个API在简洁性和表达之间提供不同的权衡,并针对不同的用例 1.SQL/Table API (dyna...
基本处理函数（ProcessFunction）
最新发布
2301_77578187的博客
01-25 1134
处理函数在数据流处理中扮演着核心角色，负责定义数据流的转换操作。在Flink中，处理函数作为一种特殊的转换算子，提供了强大的功能来处理数据流。Flink几乎所有的转换算子都提供了对应的函数类接口，处理函数也不例外。它所对应的函数类被称为ProcessFunction。ProcessFunction为开发者提供了一种灵活的方式来处理数据流，可以根据实际需求对数据进行各种复杂的转换和处理操作。通过使用ProcessFunction，您可以实现自定义的数据流转换逻辑，以满足各种复杂的数据处理需求。
Flink state状态 与 ProcessFunction API
忄凝^的博客
09-06 1002
这里目录1.简介2、Flink 搭建3、Flink 运行架构4、程序与数据流（DataFlow）5、Flink 流处理API6、Window 窗口机制7、时间语义与watermark8、状态管理State8.1、状态概述8.2. 类型8.3. 算子状态（Operator State）8.3.2. 算子状态的数据结构8.4. 键控状态（Keyed State）8.4.2. 键控状态的数据结构8.3. 状态的挑战8.4. 任务失败8.5、状态后端State Backends8.5.1. MemoryStateB
ProcessFunction API(底层API)
qq_28403781的博客
11-02 594
我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。 ​ 基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)。例如，FlinkSQL
Flink Process Function
959
12-22 1703
处理函数ProcessFunction的用法
Flink利用process算子进行分流操作
Aspirin's Nest
11-18 1575
需求 kafka中存有从metricbeat收集的各种数据系统指标数据存到同一个topic中，但是各种指标数据不尽相同，这时候需要将相同结构的数据收集到一起分开处理，就用到了Flink的分流操作。 依赖 主要有flink、kafka和解析json的依赖。 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-str
Flink的处理函数——processFunction
雷神乐乐的博客
10-06 2396
Flink的处理函数——processFunction
低级处理函数ProcessFunction
数据工匠记
02-23 2486
原文链接：https://zhuanlan.zhihu.com/p/130708277 1. ProcessFunction定义 ProcessFunction 函数是低阶流处理算子，可以访问流应用程序所有（非循环）基本构建块： 事件 (数据流元素) 状态 (容错和一致性，仅用于keyed stream) 定时器 (事件时间和处理时间，仅用于keyed stream) ProcessFunction 可以被认为是一种提供了对 KeyedState 和定时器访问的 FlatMapFunction。每在.
Flink学习笔记之Process Function
qq_38835878的博客
08-17 589
预计一周时间来完成这篇文章， 对Flink文档提供的基础入门的每个环节进行研究记录（目的是想参加阿里的Flink编程比赛）: 如图Flink提供了不同级别的抽象编程模型，先看最低级别的Stateful Stream Processing，它通过Process Function嵌入到DataStream API当中(有说法是在Flink未来的迭代过程当中会移除DataSet API, 在现有...
flink processfunction
03-16
Flink ProcessFunction 是 Flink 中一个重要的函数式编程概念，它可以用于实现流处理中的各种复杂逻辑。ProcessFunction 可以访问流中的每个元素，并且可以维护内部状态，从而实现更加灵活的流处理。ProcessFunction...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值