Flink流式框架中的时间语义和watermark

一、时间（Time）语义

1）Event Time：事件创建的时间；

2）Ingestion  Time：数据进入Flink的时间；

3）Processing  Time：执行操作算子的本地系统时间，与机器相关；

1、哪种时间语义更重要

1）不同的时间语义有不同的应用场合；

2）我们往往更关心事件时间（Event  Time）；

3）某些应用场合，不应该使用Processing  Time

4）Event Time可以从日志数据的时间戳（timestamp）中提取

           *****2017-11-02 18:37:15.624 INFO Fail over to rm

 

二、在代码中设置Event Time

1）我们可以直接在代码中，对执行环境调用setStreamTimeCharacteristic方法，设置流的时间特性；

2）具体时间，还需要从数据中提取时间戳（timestamp）

      val  env = StreamExecutionEnvironment.getExecutionEnvironment

       //  从调用时刻开始给env创建的每一个stream追加时间特征

       env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

 

1、乱序数据的影响

1）当Flink以Event Time模式处理数据流时，它会根据数据里的时间戳来处理基于时间的算子；

2）由于网络、分布式等原因，会导致乱序数据的产生；

3）乱序数据会让窗口计算不准确；

 

2、水位线（Watermark）

》》怎样避免乱序数据带来计算不正确？

》》遇到一个时间戳达到了窗口关闭时间，不应该立刻触发窗口计算，而是等待一段时间，等迟到的数据来了再关闭窗口；

   1）Watermark是一种衡量Event Time进展的机制，可以设定延迟触发；

   2）Watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark机制结合window来实现；

   3）数据流中的Watermark用于表示timestamp小于Watermark的数据，都已经到达了，因此，window的执行也是由Watermark           触发的；

   4）Watermark用来让程序自己平衡延迟和结果正确性；

 

3、Watermark的特点

1）Watermark是一条特殊的数据记录

2）Watermark必须单调递增，以确保任务的事件时间时钟在向前推进，而不是在后退；

3）Watermark与数据的时间戳相关；

 

4、Watermark的传递

 

5、Watermark的引入

1）Event Time的使用一定要指定数据源中的时间戳；

2）调用assignTimestampAndWatermarks方法，传入一个BoundedOutOfOrdernessTimestampExtractor，就可以指定watermark

3）对于排好序的数据，不需要延迟触发，可以只指定时间戳就行了

      // 注意单位是毫秒，所以根据时间戳的不同，可能需要乘1000

      dataStream.assignAscendingTimestamps(_.timestamp * 1000)

4）Flink暴露了TimestampAssigner接口供我们实现，使我们可以自定义如何从事件数据中抽取时间戳和生成Watermark

      dataStream.assignTimestampsAndWatermarks(new  MyAssigner())

      //  MyAssigner可以有两种类型，都继承自TimestampAssigner

 

6、TimestampAssigner

1）定义了抽取时间戳，以及生成Watermark的方法，有两种类型：

    **1** AssignerWithPeriodicWatermarks

           **** 周期性的生成Watermark：系统会周期性的将Watermark插入到流中；

           **** 默认周期是200毫秒，可以使用ExecutionConfig.setAutoWatermarkInterval()方法进行设置；

           **** 升序和前面乱序的处理BoundedOutOfOrderness，都是基于周期性Watermark的。

     **2**  AssignerWithPunctuatedWatermarks

            ****  没有时间周期规律，可打断的生成Watermark；

 

7、Watermark的设定

1）在Flink中，Watermark由应用程序开发人员生成，这通常需要对相应的领域有一定的了解；

2）如果Watermark设置的延迟太久，收到结果的速度可能就会很慢，解决办法是在水位线到达之前输出一个近似结果；

3）而如果Watermark到达得太早，则可能收到错误结果，不过Flink处理迟到数据的机制可以解决这个问题；