Flink的Time故事 :EventTime/IngestTime/ProcessingTime

1. Time三兄弟

1.1 DataStream支持的三种time

DataStream有大量基于time的operator，windows操作只是其中一种。

Flink支持三种time:

1.EventTime

2.IngestTime

3.ProcessingTime

 

1.2三个时间的比较

EventTime

1.事件生成时的时间，在进入Flink之前就已经存在，可以从event的字段中抽取。

2.必须指定watermarks（水位线）的生成方式。

3.优势：确定性，乱序、延时、或者数据重放等情况，都能给出正确的结果

4.弱点：处理无序事件时性能和延迟受到影响

IngestTime

1.事件进入flink的时间，即在source里获取的当前系统的时间，后续操作统一使用该时间。

2.不需要指定watermarks的生成方式(自动生成)

3.弱点：不能处理无序事件和延迟数据

ProcessingTime

1.执行操作的机器的当前系统时间(每个算子都不一样)

2.不需要流和机器之间的协调

3.优势：最佳的性能和最低的延迟

4.弱点：不确定性 ，容易受到各种因素影像(event产生的速度、到达flink的速度、在算子之间传输速度等)，压根就不管顺序和延迟

比较

性能： ProcessingTime> IngestTime> EventTime

延迟： ProcessingTime< IngestTime< EventTime

确定性： EventTime> IngestTime> ProcessingTime

1.3根据业务选择最合适的时间

Hadoop的日志进入Flink的时间为2018-12-23 17:43:46,666（Ingest Time），在进入window操作时那台机器的系统时间是2018-12-23 17:43:47,120（Processing Time），日志的具体内容是：