- 针对stream数据中的时间,可以分为以下三种
- Event Time:事件产生的时间,它通常由事件中的时间戳描述。
- Ingestion time:事件进入Flink的时间
- Processing Time:事件被处理时当前系统的时间
- EventTime
- 1.事件生成时的时间,在进入Flink之前就已经存在,可以从event的字段中抽取。
- 2.必须指定watermarks(水位线)的生成方式。
- 3.优势:确定性,乱序、延时、或者数据重放等情况,都能给出正确的结果
- 4.弱点:处理无序事件时性能和延迟受到影响
- IngestionTime
- 1.事件进入flink的时间,即在source里获取的当前系统的时间,后续操作统一使用该时间。
- 2.不需要指定watermarks的生成方式(自动生成)
- 3.弱点:不能处理无序事件和延迟数据
- ProcessingTime
- 1.执行操作的机器的当前系统时间(每个算子都不一样)
- 2.不需要流和机器之间的协调
- 3.优势:最佳的性能和最低的延迟
- 4.弱点:不确定性 ,容易受到各种因素影像(event产生的速度、到达flink的速度、在算子之间传输速度等),压根就不管顺序和延迟
- 三种时间的综合比较
- 性能: ProcessingTime> IngestTime> EventTime
- 延迟: ProcessingTime< IngestTime< EventTime
- 确定性: EventTime> IngestTime> ProcessingTime
- 如何设置time类型
- 在我们创建StreamExecutionEnvironment的时候可以设置time类型,不设置time类型,默认是processingTime,如果设置time类型为eventTime,那么必须要在我们的source之后明确指定Timestamp Assigner & Watermark Generator
flink学习笔记-flink中的三种time
最新推荐文章于 2024-08-12 09:40:33 发布