Flink的Process Function(低层次操作)
Process Function(过程函数)
ProcessFunction
是一个低层次的流处理操作,允许返回所有(无环的)流程序的基础构建模块:
1、事件(event)(流元素)
2、状态(state)(容错性,一致性,仅在keyed stream中)
3、定时器(timers)(event time和processing time, 仅在keyed stream中)
ProcessFunction
可以认为是能够访问到keyed state和timers的FlatMapFunction
,输入流中接收到的每个事件都会调用它来处理。
对于容错性状态,ProcessFunction可以通过RuntimeContext来访问Flink的keyed state,方法与其他状态性函数访问keyed state一样。
定时器允许应用程序对processing time
和event time
的变化做出反应,每次对processElement(...)
的调用都会得到一个Context
对象,该对象允许访问元素事件时间的时间戳和TimeServer
。TimeServer
可以用来为尚未发生的event-time或者processing-time注册回调,当定时器的时间到达时,onTimer(...)方法会被调用。在这个调用期间,所有的状态都会限定到创建定时器的键,并允许定时器操纵键控状态(keyed states)。
注意:如果你想访问一个键控状态(keyed state)和定时器,你需要将ProcessFunction应用到一个键控流(keyed stream)中:
stream.keyBy(...).process(new MyProcessFunction())
低层次的Join(Low-Level Joins)
为了在两个输入流中实现低层次的操作,应用程序可以使用CoProcessFunction
,这个函数绑定了两个不同的输入流,并通过分别调用processElement1(...)
和processElement2(...)
来获取两个不同输入流中的记录。
实现一个低层次的join通常按下面的模式进行:
1、为一个输入源(或者两个都)创建一个状态(state)
2、在接收到输入源中的元素时更新状态(state)
3、在接收到另一个输入源的元素时,探查状态并产生连接结果
例如:你可能将客户数据连接到金融交易中,同时保存客户信息的状态,如果您关心在无序事件的情况下进行完整和确定性的连接,则当客户数据流的水印已经通过交易时,您可以使用计时器来评估和发布交易的连接。
例子
以下示例维护了每个key的计数,并且每一分钟发出一个没有更新key的key/count对。
1、count,key和last-modification-timestamp保存在ValueState中,该ValueState由key隐含地限定。
2、对于每条记录,ProcessFunction增加counter的计数并设置最后更新时间戳
3、该函数还会在未来一分钟内安排回调(基于event time)
4、在每次回调时,它会根据存储的count的最后更新时间来检查callback的事件时间,如果匹配的话,就会将key/count对发出来
注意:这个简单的例子可以通过session window来实现,我们这里使用ProcessFunction是为了说明它提供的基本模式。
Java 代码:
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.sta