Flink 中的 Time 有哪几种

处理时间(Processing Time)

1、Flink程序执行对应操作的系统时间。所有基于时间的操作(例如:时间窗口)都将使用运行相应operator的系统时间。例如:每个小时的处理时间窗口包括在系统时间范围内所有operator接收到的记录。例如:如果应用程序在09:15开始运行,则第一个滚动时间窗口将包括:09:15 – 10:00 之间的处理事件,下一个窗口包括上午10:00 – 11:00之间的处理事件
2、这种处理时间方式实时性是最好的,但数据未必准确

事件时间(Event Time)

1、每个事件发生的时间。这个时间一般是在进入到Flink之前就包含在事件中
2、针对Eventtime,事件被处理的时间以来与事件本身
3、Eventtime必须要指定如何生成Eventtime Watermark(水印)
4、理想情况,不管事件何时到达或者顺序如何,事件时间处理能够得到完整一致地结果。
5、事件处理在等待乱序事件时,会产生一些延迟。这样会对Eventtime的应用性能有一定的影响

摄入时间(Ingestion Time)

1、摄入时间是事件进入Flink的时间
2、在source operator中,每个记录以时间戳的形式获取源的当前时间
3、它在概念是处于事件时间和处理时间中间
4、摄入时间不能处理乱序问题或者延迟数据,摄入时间可以由流式系统自动生成水印

设定时间特性

Flink DataStream 程序的第一部分通常是设置基本时间特性。 该设置定义了数据流源的行为方式(例如:它们是否将分配时间戳),以及像 KeyedStream.timeWindow(Time.seconds(30)) 这样的窗口操作应该使用上面哪种时间概念。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值