Flink Program Guide （4） -- 时间戳和Watermark生成（DataStream API编程指导 -- For Java）...

最新推荐文章于 2024-09-13 21:40:38 发布

weixin_30912051

最新推荐文章于 2024-09-13 21:40:38 发布

阅读量96

点赞数

文章标签： java 大数据

原文链接：http://www.cnblogs.com/lanyun0520/p/5749410.html

版权

时间戳和Watermark生成

本文翻译自Generating Timestamp / Watermarks

------------------------------------------------------------------

本文是Flink在使用事件时间(Event Time)时相关内容，有关事件时间、处理时间和提取时间的介绍，请见event time introduction。

流程序需要设置时间特征为Event time，才能在程序中使用事件时间。

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

一、时间戳赋值

为了使事件时间可以正常使用，Flink需要知道时间的时间戳，即流中的每个element都需要被赋予它自己的时间戳。Flink通常会从element的一些域访问/提取时间戳（That happens usually by accessing/extracting the timestamp from some field in the element.）。

时间戳的赋值通常与Watermark的生成紧密相关，其中Watermark生成负责通知系统事件时间的增长情况。

时间戳赋值和Watermark生成的方式有两种：

1. 直接在数据流源处进行

2. 通过一个Timestamp assigner / watermark generator：在Flink中，Timestamp assigner同样会定义watermark的发送行为

注意：时间戳和Watermark都是使用从Java历元（epoch） “1970-01-01 T00.00.00Z”开始的毫秒数定义的

1.1 带有时间戳和Watermark的Source方法

流的源可以在它们生产的element中直接赋值时间戳以及发送Watermark。在此情况下，我们不需要Timestamp Assigner。

要在Source方法中向element直接赋值时间戳，Source方法必须在SourceContext上调用方法collectWithTimestamp(…)。要在Source中生成Watermark，Source必须调用emitWatermark(Watermark)方法。

在下例的（非检查点的）Source方法中，方法直接向element赋值时间戳，并且根据特殊事件生成Watermark：

@Override
public void run(SourceContext<MyType> ctx) throws Exception {
　　while (/* condition */) {
　　　　MyType next = getNext();
　　　　 ctx.collectWithTimestamp(next, next.getEventTimestamp());

　　　　if (next.hasWatermarkTime()) {
　　　　　　ctx.emitWatermark(new Watermark(next.getWatermarkTime()));
　　　　}
　　}
}

注意：如果流程序在已经拥有时间戳的流上继续使用TimestampAssigner，流中element的原有时间戳将被TimestampAssigner重写。类似地，Watermark也会同样被重写。

1.2 Timestamp Assigner / Watermark Generators

Timestamp Assigner接收一个流并且产生一个带有时间戳赋值element和Watermark的新的流。如果原有的流已经拥有了时间戳或Watermark，则Timestamp Assigner将会重写它们。

通常在紧接着数据源之后会定义Timestamp Assigner，但这并不是严格要求的。例如在通用的模式中，会在Timestamp Assigner之前进行parse(MapFunction)和filter(FilterFunction)操作。不论在什么情况下，Timestamp Assigner都需要在第一个使用事件时间的Operation（如第一个窗口Operation）之前定义。而在流Job中使用Kafka作为数据源是一个特殊情况，Flink允许在数据源（或数据消费者consumer）内部定义Timestamp Assigner和Watermark emitter，更多相关信息请见Kafka Connector documentation。

注意：本节余下内容呈现了一个开发者创建自己的Timestamp Assigner 和 watermark emitter所需要实现的主要接口。有关Flink自带的预先实现的extractor，请见Pre-defined Timestamp Extractors / Watermark Emitters

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

DataStream<MyEvent> stream = env.readFile(
　　myFormat, myFilePath, FileProcessingMode.PROCESS_CONTINUOUSLY, 100,
　　FilePathFilter.createDefaultFilter(), typeInfo);

DataStream<MyEvent> withTimestampsAndWatermarks = stream
　　.filter( event -> event.severity() == WARNING )
　　.assignTimestampsAndWatermarks(new MyTimestampsAndWatermarks());

withTimestampsAndWatermarks
　　.keyBy( (event) -> event.getGroup() )
　　.timeWindow(Time.seconds(10))
　　.reduce( (a, b) -> a.add(b) )
　　.addSink(...);

周期性Watermark

AssignerWithPeriodicWatermark赋值时间戳并周期性生成（生成方式有可能是依靠流的element，或者纯粹基于处理时间）。

生成Watermark的时间周期区间（每n毫秒）的大小可以通过ExecutionConfig.setAutoWatermarkInterval(…)设置。每一次生成时，都将会调用Assigner的getCurrentWatermark()方法，如果返回的Watermark是非null且大于前一个Watermark，则会发送一个新的Watermark。

下面是两个生成周期性Watermark和Timestamp Assigner的例子

/**
* This generator generates watermarks assuming that elements come out of order to a certain degree only.
* The latest elements for a certain timestamp t will arrive at most n milliseconds after the earliest
* elements for timestamp t.
*/
public class BoundedOutOfOrdernessGenerator extends AssignerWithPeriodicWatermarks<MyEvent> {

private final long maxOutOfOrderness = 3500; // 3.5 seconds

private long currentMaxTimestamp;

@Override
public long extractTimestamp(MyEvent element, long previousElementTimestamp) {
　　long timestamp = element.getCreationTime();
　　currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);
　　return timestamp;
}

@Override
public Watermark getCurrentWatermark() {
　　// return the watermark as current highest timestamp minus the out-of-orderness bound
　　return new Watermark(currentMaxTimestamp - maxOutOfOrderness);
}

}

/**
* This generator generates watermarks that are lagging behind processing time by a certain amount.
* It assumes that elements arrive in Flink after at most a certain time.
*/
public class TimeLagWatermarkGenerator extends AssignerWithPeriodicWatermarks<MyEvent> {

private final long maxTimeLag = 5000; // 5 seconds

@Override
public long extractTimestamp(MyEvent element, long previousElementTimestamp) {
return element.getCreationTime();
}

@Override
public Watermark getCurrentWatermark() {
// return the watermark as current time minus the maximum time lag
return new Watermark(System.currentTimeMillis() - maxTimeLag);
}

}

带标点（punctuated）Watermark

为了在某事件下就产生Watermark，我们需要使用AssignerWithPunctuatedWatermarks。在该类中，Flink会先调用extractTimestamp(…)方法来给element赋值一个时间戳，然后针对该element即刻调用checkAndGetNextWatermark(…)方法来返回一个非null的Watermark。

checkAndGetNextWatermark(…)方法将获得在extractTimestamp(…)方法中获得的时间戳，并决定是否生成Watermark。一旦checkAndGetNextWatermark(…)方法返回一个非null的Watermark，并且该Watermark大于最近的上一个Watermark，则发送该新的Watermark。

public class PunctuatedAssigner extends AssignerWithPunctuatedWatermarks<MyEvent> {

@Override
public long extractTimestamp(MyEvent element, long previousElementTimestamp) {
return element.getCreationTime();
}

@Override
public Watermark checkAndGetNextWatermark(MyEvent lastElement, long extractedTimestamp) {
return element.hasWatermarkMarker() ? new Watermark(extractedTimestamp) : null;
}