flink 第一个窗口开始时间以及offset作用

文章讨论了在Flink程序中,窗口开始时间的计算方法,特别是当涉及到不同时区时的问题。默认情况下,窗口开始时间基于UTC时区和第一条记录的时间戳。然而,这可能不匹配用户的实际需求,例如基于北京时间的统计。通过引入offset参数,可以调整窗口的起始时间,如设置offset为-8小时,以确保窗口对齐到北京时间。
摘要由CSDN通过智能技术生成

简述窗口开始时间

1.当flink程序启动时,创建的第一个window的开始时间是由程序决定的,具体的算法如下:
2.窗口开始时间=第一条记录时间戳-第一条记录时间戳%窗口时长,也就是从utc0时区的1970-01-01 00:00:00.000开始,像建铁轨一样将无数个窗口时长从那时排列,观察第一条记录时间戳落在了第几条铁轨上,那么这条铁轨的开始时间,就是窗口的开始时间

引出offset

1.这样排列多少有点独断专行了
2.因为假如我要从utc8时区2023-02-24 00:00:00.000开始,定义一个24h的滚动窗口。当第一条记录2023-02-24 10:00:00.000(内部转换为时间戳)到达时,那么程序默认会开启一个utc0时区2023-02-24 00:00:00.000到utc0时区2023-02-24 23:59:59.999的窗口。啊,这并不是我们想要的,因为我们惯用北京时间,希望按北京时间的天统计
3.那么offset来了,上面的窗口对应到北京时间就是:utc8时区2023-02-24 08:00:00.000到utc0时区2023-02-25 07:59:59.999。显而易见,窗口的开始时间,结束时间应该-8h,那么设置offset=-8h就解决了

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值