转载 :Flink的Process Function 函数 ,processWindowFunction

Flink的Process Function(低层次操作)

Process Function(过程函数)

ProcessFunction是一个低层次的流处理操作,允许返回所有(无环的)流程序的基础构建模块:
  1、事件(event)(流元素)
  2、状态(state)(容错性,一致性,仅在keyed stream中)
  3、定时器(timers)(event time和processing time, 仅在keyed stream中)

ProcessFunction可以认为是能够访问到keyed state和timers的FlatMapFunction,输入流中接收到的每个事件都会调用它来处理。

对于容错性状态,ProcessFunction可以通过RuntimeContext来访问Flink的keyed state,方法与其他状态性函数访问keyed state一样。

定时器允许应用程序对processing timeevent time的变化做出反应,每次对processElement(...)的调用都会得到一个Context对象,该对象允许访问元素事件时间的时间戳和TimeServerTimeServer可以用来为尚未发生的event-time或者processing-time注册回调,当定时器的时间到达时,onTimer(...)方法会被调用。在这个调用期间,所有的状态都会限定到创建定时器的键,并允许定时器操纵键控状态(keyed states)。

注意:如果你想访问一个键控状态(keyed state)和定时器,你需要将ProcessFunction应用到一个键控流(keyed stream)中:

stream.keyBy(...).process(new MyProcessFunction())

低层次的Join(Low-Level Joins)

为了在两个输入流中实现低层次的操作,应用程序可以使用CoProcessFunction,这个函数绑定了两个不同的输入流,并通过分别调用processElement1(...)processElement2(...)来获取两个不同输入流中的记录。

实现一个低层次的join通常按下面的模式进行:
  1、为一个输入源(或者两个都)创建一个状态(state)
  2、在接收到输入源中的元素时更新状态(state)
  3、在接收到另一个输入源的元素时,探查状态并产生连接结果
例如:你可能将客户数据连接到金融交易中,同时保存客户信息的状态,如果您关心在无序事件的情况下进行完整和确定性的连接,则当客户数据流的水印已经通过交易时,您可以使用计时器来评估和发布交易的连接。

例子

以下示例维护了每个key的计数,并且每一分钟发出一个没有更新key的key/count对。
  1、count,key和last-modification-timestamp保存在ValueState中,该ValueState由key隐含地限定。
  2、对于每条记录,ProcessFunction增加counter的计数并设置最后更新时间戳
  3、该函数还会在未来一分钟内安排回调(基于event time)
  4、在每次回调时,它会根据存储的count的最后更新时间来检查callback的事件时间,如果匹配的话,就会将key/count对发出来

注意:这个简单的例子可以通过session window来实现,我们这里使用ProcessFunction是为了说明它提供的基本模式。
Java 代码:

import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.sta
  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值