flinksql获取系统当前时间搓_Flink之对时间的处理

window+trigger+watermark处理全局乱序数据，指定窗口上的allowedLateness可以处理特定窗口操作的局部事件时间乱序数据

1、流处理系统中的微批

Flink内部也使用了某种形式的微批处理技术，在shuffle阶段将含有多个事件的缓冲容器通过网络发送，而不是发送单个事件

流处理系统中的批处理必须满足以下两点要求：

批处理只作为提高系统性能的机制。批量越大，系统的吞吐量就越大。

为了提高性能而使用的批处理必须完全独立于定义窗口时所用的缓冲，或者为了保证容错性而提交的代码，也不能作为 API 的一部分。否则，系统将受到限制，并且变得脆弱且难以使用。

2、时间概念

事件时间，即事件实际发生的时间(由水印触发器实现)，基于事件时间处理可实现时间回溯并正确地重新处理数据

处理时间，即事件被处理的时间，是处理事件的机器所测量的时间

摄取时间，即事件进入流处理框架的时间，缺乏事件时间的数据会被处理器附上摄取时间(由source函数完成)

3、窗口

所有内置窗口都由同一种机制实现，开窗机制与检查点机制完全分离；可直接用基本的开窗机制定义更复杂的窗口(如某种时间窗口，可基于元素计数生成中间结果)

窗口时间区间是按自然时间分配的，比如3秒的时间间隔，[0,3) [3,6)

(1)时间窗口(每隔B时长对A时长内数据聚合)

设置事件时间 env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

设置处理时间 env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime)

设置摄取时间 env.setStreamTimeCharacteristic(TimeCharacteristic.IngestionTime)

滚动窗口A stream.timeWindow(Time.minutes(1)) stream.window(TumblingEventTimeWindows.of(Time.seconds(1)))

滑动窗口B stream.timeWindow(Time.minutes(1), Time.seconds(30)) stream.window(TumblingEventTimeWindows.of(Time.seconds(1)), SlidingEventTimeWindows.of(Time.seconds(30)))

(2)计数窗口(每隔B个元素对A个元素进行聚合)

为避免永远达不到计数窗口而浪费内存，可用时间窗口触发超时

滚动窗口A stream.countWindow(4)

滑动窗口B stream.countWindow(4, 2)

(3)会话窗口(会话即活动阶段，其前后都是非活跃阶段，常用于无固定持续时间或无固定交互次数的场景)

由超时时间设定，即希望非活跃状态持续多久才结束窗口。window区间：当b比上一条记录a延迟超过超时时间t时，出现会话窗口[上一个window_end, b-t)

事件时间会话窗口 stream.window(EventTimeSessionWindows.withGap(Time.minutes(5))

处理时间会话窗口 stream.window(ProcessingTimeSessionWindows.withGap(Time.minutes(