关于Flink--ProcessFunction的使用

最新推荐文章于 2023-06-26 22:25:48 发布
最新推荐文章于 2023-06-26 22:25:48 发布
阅读量300 收藏
点赞数
文章标签： flink python java 数据分析 git
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46845300/article/details/110158645
版权

一、概念：

处理函数(底层API)，可以访问时间戳，水位线以及注册定时时间，还可以输出特定事件(超时事件)

Flink主要提供了8个ProcessFunction(斜体标注的重要)：

  • ProcessFunction
  • KeyedProcessFunction
  • CoProcessFunction
  • ProcessJoinFunction
  • BroadcastProcessFunction
  • KeyedBroadcastProcessFunction
  • ProcessWindowFunction
  • ProcessAllWindowFunction

二、重点解读其中几个API

Non-keyed-strema(没有分流的)

　　ProcessFunction[In,Out]

　　　　processElemnt:来一条数据处理一次

　　　　onTimer：定时器

　　KeyedProcedssFunction[Key,In,Out]

　　　　processElement:来一条数据处理一次

　　　　onTimer:定时器

WindowedStream(分流开窗)

　　ProcessWindowFunction[In,Out,Key,TimeWindow]

　　　　process

ConnectStream(两条流的合并)

　　CoprocerssFunction

　　　　processelements1 处理第一条流

　　　　procesElements2 处理第二条流

　　　　onTimer 定时器

手提青灯觅佳人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flink-local-train:flink入门到项目实践
05-06
文章会对Flink中基本API如：DataSet、DataStream、Table、Sql和常用特性如：Time&Window、窗口函数、Watermark、触发器、分布式缓存、异步IO、侧输出、广播和高级应用如：ProcessFunction、状态管理等知识点进行整理...
Flink的处理函数——processFunction
最新发布
雷神乐乐的博客
10-06 1986
Flink的处理函数——processFunction
Flink学习——处理函数ProcessFunction及多流转换
five小点心的博客
05-20 2622
处理函数processFunction、分流output、合流union/connect/join
flink的侧输出(sideoutput)和OutputTag
lijianqingfeng的专栏
11-18 5567
背景 用flink做数据处理的时候，我们经常会想要将数据分成几类处理，或者有一批特殊数据需要单独处理。但是我们又想复用同一个流式任务，避免重复处理数据。 这种需求，使用sideoutput完美解决。建议直接看官方文档就好了：https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/side_output.html 官方github示例：https://github.com/apache/flink/blo...
Flink的Process Function
huahuaxiaoshao的博客
05-14 898
      之前熟悉的流处理API中的转换算子是无法访问事件的时间戳信息和水位线信息的。例如：MapFunction这样的map转换算子就无法访问时间戳或者当前事件的时间。然而，在一些场景下，又需要访问这些信息。基于此，DataStream API提供了一系列的Low-Level转换算子。这些算子支持访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件驱动的应用以及实
【Flink】Flink 多个 OutputTag 不能直接 union 的问题
九师兄
08-15 819
1.概述 @Test public void UnionSideTest() throws Exception { //1.获取执行环境配置信息 Configuration configuration = new Configuration(); configuration.setBoolean(ConfigConstants.LOCAL_START_WEBSERVER, true); configuration.setInteger.
roohom#Code-Cookbook#[Flink]ProcessFunction无法使用，抛出InvalidProgram
07-25
[Flink]ProcessFunction无法使用，抛出InvalidProgramException在flink中有时候需要使用侧边流来收集数据，做另一步处
flink道路监控系统实战项目
05-07
3. **实时计算**：编写ProcessFunction或使用窗口操作进行实时分析，如计算每分钟的车流量、识别交通异常等。 4. **结果输出**：创建SinkFunction将处理结果写入数据库或发送到前端展示系统。 5. **错误处理与容错**...
大数据技术之Flink教程
04-02
Table API则是声明式的，用于处理动态变化的表，尤其适合SQL使用者。 **Flink运行架构** Flink运行架构包括JobManager和TaskManager。JobManager负责任务调度和状态管理，TaskManager执行实际计算任务。它们通过...
flink1.14_scala2.12
09-20
2. **窗口和触发器**：Scala的函数式编程特性使得构建复杂窗口和触发器策略变得简单，例如使用ProcessFunction来实现事件驱动的处理逻辑。 3. **状态和检查点**：在Scala中定义状态变量和检查点策略，可以保证在...
Flink大数据实时计算系列-Flink的分流器OutputTag
段智华的博客
06-15 3362
Flink大数据实时计算系列-Flink的分流器OutputTag 目录 Flink的分流器OutputTagCountryCodeConnectKeyByCountryCountOutTagFlink参考链接Flink系列博客 Flink的分流器OutputTag OutputTag.java /* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements
Flink-处理函数
m0_63475429的博客
10-16 1246
在处理函数中，我们直面的就是数据流中最基本的元素：数据事件（event）、状态（state） 以及时间（time）。这就相当于对流有了完全的控制权。处理函数比较抽象，没有具体的操作， 所以对于一些常见的简单应用（比如求和、开窗口）会显得有些麻烦；不过正是因为它不限定 具体做什么，所以理论上我们可以做任何事情，实现所有需求。所以可以说，处理函数是我们 进行 Flink 编程的“大招”，轻易不用，一旦放出来必然会扫平一切。
Flink Process Function
959
12-22 1654
处理函数ProcessFunction的用法
【基础】Flink -- ProcessFunction
情绪瓜皮皮丶的学习之路
02-18 1435
整理总结了 Flink 中处理函数相关的知识和简单使用方法
Flink 如何使用ProcessFunction
10-15 9668
1. ProcessFunction ProcessFunction 函数是低阶流处理算子，可以访问流应用程序所有（非循环）基本构建块： 事件 (数据流元素) 状态 (容错和一致性) 定时器 (事件时间和处理时间) ProcessFunction 可以被认为是一种提供了对 KeyedState 和定时器访问的 FlatMapFunction。每在输入流中接收到一个事件，就会调用来此函数来处理。...
Flink process function使用详解
Aspirin's Nest
12-19 2522
前言 process function是flink中比较底层的函数。能够实现一些高层函数无法实现的功能。它可以操作三个非常重要的对象： event：数据流中的单个元素 state：状态 timers：（事件时间或处理时间）定时器，仅在keyedStream中可以访问。 process function可以看做是可以访问state和timer的flatmap function。 代码 假设有这样一个需求，实现session window的功能。每个间隔时间为6s的“window”输出对应<key,c
Flink中处理函数（Process Function)
m0_37689903的博客
06-26 893
本文主要介绍了按键分区处理函数（KeyedProcessFunction）和窗口处理函数（ProcessWindowFunction）以及测输出流
Flink ProcessFunction
Java_KW的博客
04-06 1019
Flink ProcessFunction 文章目录Flink ProcessFunction一、 KeyedProcessFunction二、TimerService和定时器（Timers）三、侧输出流（SideOutput）四、CoProcessFunction 之前使用的转换算子是无法访问事件的时间戳信息和水位线信息的，在某些应用场景下，我们需要这些信息。因此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些
Flink处理函数实战之一：深入了解ProcessFunction的状态(Flink-1.10)
热门推荐
程序员欣宸的博客
05-10 1万+
深入了解ProcessFunction的状态操作
以下对flink api 中的ProcessFUnction的说法错误的是：
06-13
以下是四个关于Flink API中ProcessFunction的说法，其中有一个是错误的： 1. ProcessFunction是Flink提供的一个用于处理流式数据的函数式编程接口，可以对数据进行各种转换、过滤和计算操作。 2. ProcessFunction...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值