Flink的四大基石之---Flink Time 时间 以及 时间分类详解

1. Flink Time时间的分类

简介: 在Flink流计算中,关于时间语义支持三种,其中2种语义最为关键:

  • 1)、处理时间ProcessingTime,使用处理时间
    • SparkStreaming时,窗口计算,使用的就是处理时间
  • 2)、事件时间EventTime,最为合理
    • StructuredStreaming中,窗口计算,使用的是事件时间
      在这里插入图片描述
      在Flink的流式处理中,会涉及到时间的不同概念,如下图所示:
      在这里插入图片描述
  • 1)、事件时间EventTime
    • 事件真真正正发生产生的时间,比如订单数据中订单时间表示订单产生的时间
  • 2)、摄入时间IngestionTime
    • 数据被流式程序获取的时间
  • 3)、处理时间ProcessingTime
    • 事件真正被处理/计算的时间

其中: 事件时间处理时间 最为重要
在这里插入图片描述

2. 示例说明Flink Time中EventTime重要性

简介: 通过几个示例,感受对数据处理时,需要使用基于事件时间进行分析,更加合理化。

  • 1)、示例一
    在这里插入图片描述

  • 2)、示例二
    在这里插入图片描述

  • 3)、示例三
    在这里插入图片描述

总结:
实际开发中,希望基于事件时间来处理数据,但因为数据可能网络延迟等原因,出现了乱序或延迟到达,那么可能处理的结果不是想要的甚至出现数据丢失的情况,所以需要一种机制来解决一定程度上的数据乱序或延迟到底的问题:水位线WaterMark
在这里插入图片描述

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值