Flink 修改时区负时间偏移量报错 TumblingEventTimeWindows parameters must satisfy 解决方法

最新推荐文章于 2023-11-21 17:27:05 发布
最新推荐文章于 2023-11-21 17:27:05 发布
阅读量2.8k 收藏 2
点赞数
分类专栏： Flink 文章标签： Flink 负时间偏移量 TumblingEventTimeWindows 时间窗口 修改时区
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/catkint/article/details/95034387
版权

报错: java.lang.IllegalArgumentException: TumblingEventTimeWindows parameters must satisfy 0 <= offset < size

由于Flink默认窗口时区是UTC-0，其他地区需要指定时间偏移量调整时区，在Flink某些低版本中(例如1.6.2等)，官方文档更新不及时，使用负时间偏移量

TumblingEventTimeWindows.of(Time.days(1),Time.hours(-8))
会出现以上报错

解决方法：
                 使用TumblingEventTimeWindows.of(Time.days(1),Time.hours(16))代替


注：在此 https://github.com/apache/flink/pull/5376 已经修复。最新的版本不会报错。

catkint
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TumblingEventTimeWindows（滚动时间窗口）和 SlidingEventTimeWindows（滑动时间窗口）开窗的解析
youhebuke_f的博客
10-15 2898
滚动时间窗口的计算方法
Flink开发-滚动窗口TumblingWindows
qq884121435的博客
08-13 493
Flink开发-滚动窗口TumblingWindows 1.Non-Keyed Tumbling Windows2.Keyed Tumbling Windows 滚动窗口是按照时间划分的窗口，其Assinger会将输入的每一条数据按照时间分配到固定长度的窗口内，并且按照这个固定的时间进行滚动，窗口和窗口之间没有数据重叠。 1.Non-Keyed Tumbling Windows public static void main(String[] args) throws Exception {
Flink 窗口 Window
GrassEva的博客
10-12 595
分配器（assigner）按规则创建窗口并分配数据，数据进入窗口（window），触发器（trigger）根据数据和定时器判断是否已满足特定条件，不满足继续等待并接收数据，满足后结束接受数据，并将数据移交给方法（function）开始运算
Flink之Window与窗口开始时间
heroking
02-15 6192
一、滚动窗口（TumblingEventTimeWindows） // 引入滚动窗口 val streamWindow = stream.window(TumblingEventTimeWindows.of(Time.seconds(10))) 二、滑动窗口（SlidingEventTimeWindows） // 引入滑动窗口，窗口10s，没5s滑动一次 val streamWindow = s...
Flink(六)：Tumbling Windows 例子
在前进的路上
03-12 3141
滚动窗口将每个元素分配给指定窗口大小的窗口。滚动窗口具有固定大小并且不重叠。例如，如果指定一个大小为 5 分钟的滚动窗口，则将评估当前窗口，并每隔五分钟启动一个新窗口，我们实现对应的例子
Flink Kafka TumblingEventTimeWindows
文报的博客
09-20 9206
好久没写博客了，更新一下。这篇博客主要将的是Flink中双流join的操作。 在说双流join之前先了解一下window的定义，推荐博客。然后了解一下watermark的定义，推荐博客。 我是在看完第二篇博客后，将数据源改为了kafka。但是一直没有触发window，打印window信息。然后在Flink的开发者邮箱中看见了问题解答。从邮箱的回答中可以很明显的看出为什么没有触发window。...
Flink基础系列32-Table API和Flink SQL之时间窗口
04-26
在Flink中，时间窗口是实现基于时间的事件处理和分析的关键机制。本文将详细探讨Flink的Table API和SQL中如何利用时间窗口进行数据处理。 时间窗口是一种将连续的数据流分割成离散时间段的方法，这对于统计特定时间...
【Flink篇11】Flink之CEP复杂时间处理1
08-04
特征如下目标：从有序的简单事件流中发现一些高阶特征输入：一个或多个由简单事件构成的事件流处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: ...
Flink笔记(二十三)：Flink 整合 Kafka (实现 Exactly-Once)
01-07
Flink 整合 Kafka 基本步骤，请参考：Flink 基础整合 Kafka。本文仅用来介绍 Flink 整合 Kafka 实现 Exactly-Once。 1.什么是Exactly-Once  恰好处理一次的意思。不管在处理的时候是否有异常发生，计算的结果都...
【Flink篇07】Flink之时间语义和WaterMark1
08-04
如果要使用EventTime，那么需要引入EventTime的时间属性，引入方式如下所示：我们知道，流处理从事件产生，到流经source，再到operator，
Flink动态开窗——根据缓存的规则信息动态设置窗口size
最新发布
二两窝子面的博客
11-21 379
Flink数据关联缓存的外部规则信息动态设置窗口size做动态开窗计算
Flink实战(七) - Time & Windows编程
JavaEdge全是干货的技术号
07-23 2392
Windows是处理无限流的核心。Windows将流拆分为有限大小的“桶”，可在其上应用计算。/**如何在Flink中执行窗口程序员如何从其提供的函数中获益最大化第一个片段指的是被Keys化流第二个片段指的是非被Keys化流唯一区别是keyBy(…)呼吁Keys流和window(…)成为windowAll(…)非被Key化的数据流。} });原来传递进来的数据是字符串，此处我们就使用数值类型，通过数值类型来演示增量的效果。
flink入门- TumblingCountWindow和TumblingTimeWindow
齐殿天下
12-04 956
概念 什么是 Window 在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。 Time Window 就如名字所说的，Time Window 是根据时间对数据流进行分组的。Flink 提出了三种时间的概念，分别是event time（事件时间：事件发生.
Flink中事件时间和处理时间(TumblingEventTimeWindows TumblingProcessingTimeWindows)
AnameJL的博客
06-05 1994
事件时间和处理时间的区别
聊聊 flink 的时间窗口
m0_57042151的博客
09-19 1714
窗口是flink最重要的几个部分之一， 如何对流计算的大量数据进行聚合处理以及控制流计算中发生的大量数据延时，或者数据提前来到导致的计算错误，flink使用window（窗口）给出了一份非常圆满的答案。flink 的底层架构设计上其实是没有批处理（batch）的概念，在flink看来，批处理就是对于流处流（stream）一种特殊处理。但是在实际的业务情况中，经常有需要对于一段范围内的数据进行聚合处理的需要：比如我们需要统计刚刚的十分钟内到底有多少客户进行了抢购，抢劵。
flink Window使用总结
weixin_45408791的博客
09-07 904
flink窗口（window)
万字细说Flink中Window原理与使用
lightupworld的博客
05-08 804
万字细说Flink中Window原理与使用一、时间语义1.Flink中的时间语义2. 设置时间语义二、Window窗口1.Window概述2.Window简介2.1 滚动窗口（Tumbling Windows）2.2 滑动窗口（Sliding Windows）2.3 会话窗口（Session Windows）3.Window API3.1 TimeWindow（1）滚动窗口（2）滑动窗口（3）会话窗口3.3 CountWindow（1）计数滚动窗口（2） 计数滑动窗口3.4 Time Window
聊聊flink的Sliding Window
weixin_34032827的博客
01-03 501
序 本文主要研究一下flink的Sliding Window SlidingEventTimeWindows flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/windowing/assigners/SlidingEventTimeWin...
flink保存消费kafka的偏移量
05-19
在 Flink 中，可以通过 `KafkaConsumer` 提供的 `FlinkKafkaConsumer` 来消费 Kafka 中的数据。而保存消费 Kafka 的偏移量可以使用 Flink 提供的 `FlinkKafkaConsumer` 的 `enableCheckpointing` 方法来实现。 具体做法如下： 1. 在创建 `FlinkKafkaConsumer` 对象时，设置 `enableCheckpointing` 方法开启 Flink 的 checkpoint 机制。 ```java FlinkKafkaConsumer<String> kafkaConsumer = new FlinkKafkaConsumer<>(topic, new SimpleStringSchema(), properties); kafkaConsumer.setStartFromEarliest(); kafkaConsumer.setCommitOffsetsOnCheckpoints(true); env.enableCheckpointing(5000); ``` 2. 设置 `setCommitOffsetsOnCheckpoints` 方法为 `true`，表示 Flink 在进行 checkpoint 时会自动提交当前消费 Kafka 的偏移量。 3. 在 Flink 应用程序中，可以通过实现 `CheckpointedFunction` 接口来手动管理 Kafka 偏移量的保存和恢复。 ```java public class KafkaConsumer implements SourceFunction<String>, CheckpointedFunction { private transient ListState<Long> offsetState; private volatile boolean isRunning = true; private long offset = 0L; @Override public void snapshotState(FunctionSnapshotContext context) throws Exception { offsetState.clear(); offsetState.add(offset); } @Override public void initializeState(FunctionInitializationContext context) throws Exception { ListStateDescriptor<Long> offsetStateDescriptor = new ListStateDescriptor<>("offsets", Long.class); offsetState = context.getOperatorStateStore().getListState(offsetStateDescriptor); if (context.isRestored()) { for (Long offset : offsetState.get()) { this.offset = offset; } } } @Override public void run(SourceContext<String> ctx) throws Exception { while (isRunning) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000)); for (ConsumerRecord<String, String> record : records) { offset = record.offset(); ctx.collect(record.value()); } } } } ``` 在 `snapshotState` 方法中，将当前消费 Kafka 的偏移量保存到 `offsetState` 状态变量中。在 `initializeState` 方法中，可以从状态变量中恢复保存的偏移量。在 `run` 方法中，每次消费 Kafka 中的数据时，都会更新 `offset` 变量为当前消费的偏移量。 这样，当 Flink 应用程序出现故障，重新启动时，就可以从保存的偏移量处继续消费 Kafka 中的数据，避免了数据的重复消费。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值