十一、Flink进阶--Time深度解析

最新推荐文章于 2024-07-24 16:31:12 发布

灰二和杉菜

最新推荐文章于 2024-07-24 16:31:12 发布

阅读量1.7k

点赞数

分类专栏： Apache Flink 文章标签： Flink Aapche Flink Time解析 watermark

本文链接：https://blog.csdn.net/qq475781638/article/details/90575384

版权

本文详细介绍了Apache Flink中处理时间的概念，包括Processing Time、Event Time和Ingestion Time。重点讨论了Event Time和Watermark的工作原理，如何在数据源中设置时间特征，以及Watermark的生成、传播和处理。同时，提到了在Table API和SQL中使用时间特性的注意事项。

摘要由CSDN通过智能技术生成

Time深度解析

1. 概述

Flink在流处理程序中支持不同的时间概念。
在这里插入图片描述
首先需要理解三种time的含义：

Processing time: Processing time refers to the system time of the machine that is executing the respective operation. 处理事件时的时间，处理简单，结果不确定
Event time: Event time is the time that each individual event occurred on its producing device. 事件产生的时间，处理复杂，结果确定可以重现
Ingestion time: Ingestion time is the time that events enter Flink. 事件进入Flink的时间

1.1设置一个时间特征

首先定义你的流处理程序是已哪一种时间为标志的。

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

// env.setStreamTimeCharacteristic(TimeCharacteristic.IngestionTime);
// env.setStreamTimeCharacteristic(TimeCharacteristic.