【Flink】Flink AscendingTimestampExtractor - Timestamp monotony violated

最新推荐文章于 2024-03-20 21:00:00 发布
最新推荐文章于 2024-03-20 21:00:00 发布
阅读量1.2k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink 大数据 big data
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120852106
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文分析了Flink中遇到的Timestamp monotony violated错误，指出该错误通常表示数据乱序，着重讨论了如何处理这种事件时间不单调增加的情况。博主九师兄建议，如果关注事件时间顺序，需要重视此问题；反之，可以配置忽略。
摘要由CSDN通过智能技术生成

文章目录

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

在这里插入图片描述

1.概述

问一下，我的flink日志里面打了很多：AscendingTimestampExtractor - Timestamp monotony violated: 需要关心么？

看起来这是数据乱序了。找到相关代码

org.apache.flink.streaming.api.functions.timestamps
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
95-180-045-源码-Watermark-递增时间戳分配器(AscendingTimestampExtractor)
九师兄
06-27 998
1.视界 2.概述 ​ AssignerWithPeriodicWatermarks周期性地分配timestamp和生成watermark(可能依赖于元素或者纯粹基于处理时间)。 ​ watermark产生的事件间隔(每n毫秒)是通过ExecutionConfig.setAutoWatermarkInterval(...)来定义的，每当分配器的getCurrentWatermark()方法...
聊聊flink的AscendingTimestampExtractor
weixin_33881050的博客
12-20 505
序 本文主要研究一下flink的AscendingTimestampExtractor AscendingTimestampExtractor flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/functions/timestamps/AscendingTimestampExtractor.jav...
flink 出现报错 Timestamp monotony violated 怎么解决
水镜先生的博客
06-15 806
16:14:43,781 WARN org.apache.flink.streaming.api.functions.timestamps.AscendingTimestampExtractor - Timestamp monotony violated: -159096192 < 982926000 我使用了 DataStream<Tuple3<String,String,Integer>> timedData = dataStream
Flink预定义时间戳提取器/水印发射器
踏雪无痕
06-16 444
一.简介 Flink提供了抽象，允许程序员分配自己的时间戳并发出自己的水印。更具体地说，根据使用情况，可以通过实现AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks接口之一来实现。简而言之，第一个将定期发出水印，而第二个则根据传入记录的某些属性发出水印，例如，每当流中遇到特殊元素时。 为了进一步简化此类任务的编程工作，Flink附带了一些预先实现的时间戳分配器。 二.时间戳递增的分配器 定期生成水印的最简单的特殊情况是给定源任务看到
Flink 资源包 flink-1.15.0-bin-scala_2.12.tgz flink-connector-elasti
07-01
flink-sql-connector-mysql-cdc-2.2.1.jar flink-connector-elasticsearch7-1.15.0.jar flink-1.15.0-bin-scala_2.12.tgz
flink-1.19.0-bin-scala-2.12.tgz flink-1.16.3-bin-scala-2.12.tgz
最新发布
05-21
标题和描述中提到的"flink-1.19.0-bin-scala-2.12.tgz"和"flink-1.16.3-bin-scala-2.12.tgz"是Apache Flink的两个不同版本的二进制发行版。Flink是一个开源的流处理和批处理框架，它提供了低延迟、高吞吐量的数据...
flink-table-planner-blink-2.11-1.12.7-API文档-中文版.zip
07-07
赠送jar包：flink-table-planner-blink_2.11-1.12.7.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.12.7-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.12.7-sources.jar； 赠送Maven依赖...
flink-table-planner-blink_2.11-1.13.2-API文档-中文版.zip
06-05
赠送jar包：flink-table-planner-blink_2.11-1.13.2.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.13.2-sources.jar； 赠送Maven依赖...
【Flink原理介绍第三篇】：Flink的Time Extractor和Watermark Emitter
hxcaifly的博客
11-16 410
前言 Flink提供了抽象类来让开发者赋值自己的时间戳并发送他们自己的Watermark。更具体来说，开发者需要依照不同用例情况来实现接口AssignerWithPeriodicWatermarks或接口AssignerWithPunctuatedWatermarks。简而言之，前一个接口将会周期性发送Watermark，而第二个接口根据一些到达数据的属性，例如一旦在流中碰到一个特殊的elemen...
Flink assignAscendingTimestamps 重载方法
yang灬仔
07-15 1782
先简单介绍一下Timestamp 和Watermark 的概念: 1. Timestamp和Watermark都是基于事件的时间字段生成的 2. Timestamp和Watermark是两个不同的东西，并且一旦生成都跟事件数据没有关系了（所有即使事件中不再包含生成Timestamp和Watermark的字段也没关系） 3. 事件数据和 Timestamp 一一对应（事件在流中传递以StreamRecord对象表示，value 和 timestamp 是它的两个成员变量) 4. Watermark 在.
【深入浅出flink】第13篇：从源码解读flink中Watermark的周期性和间断式生成方式
雷恩Layne
01-27 2124
我们通常通过DataStream的assignTimestampsAndWatermarks方法引入Watermark，assignTimestampsAndWatermarks方法中要求传入的接口有两种，一种是AssignerWithPeriodicWatermarks（周期性生成Watermark的时间戳分配器），另一中是AssignerWithPunctuatedWatermarks（间断式生成Watermark的时间戳分配器），它们都是TimestampAssigner(时间戳分配器)接口的子接口。
flink assignTimestampsAndWatermarks两种水印生成方式 源码分析
热门推荐
weixin_40809627的博客
07-28 1万+
时间戳和水印的时间生成方式一般有一下两种方式 1、BoundedOutOfOrdernessTimestampExtractor AscendingTimestampExtractor
大数据专家详解，Flink事件时间水印和迟到数据处理，Flink Time
2401_83384536的博客
03-20 962
之前的文章中已经屡次提到过Flink的事件时间（event time）、水印（watermark）、乱序（out-of-order）、迟到数据（late element）这些概念，虽然它们都非常基础，但笔者还没有对它们做过像样的介绍，感觉不太合适。正好今天脑子比较累，又是Friday night，不适合写复杂的东西，就来谈谈简单的吧。
轻松通关Flink第25讲：Flink 中 watermark 的定义和使用
sucaiwa的博客
03-28 559
Flink 本身提供了两个预定义实现类去生成水印：AscendingTimestampExtractor 时间戳递增BoundedOutOfOrdernessTimestampExtractor 处理乱序消息和延迟时间这一课时讲解了生产环境中正确使用 Watermark 需要注意的事项，并且介绍了如何保证 Kafka 消息的全局有序，Flink 中自定义的时间戳提取器和水印发射器；最后用一个案例讲解了如何正确使用水印和设置乱序事件。通过这一课时你可以学习到生产中设置水印的正确方法和原理。
Flink中在source流中自定义timestamp和watermark
04-24 5169
To work with Event Time, streaming programs need to set the time characteristic accordingly. 首先配置成，Event Time final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnviro
flink实战--水印（watermark）终极总结
阿华田的博客
12-24 7562
水印（waterMark） 了解水印前需要了解事件时间（eventTime）和处理时间（processTime）的概念，参考博客：https://blog.csdn.net/aA518189/article/details/82908993了解事件时间。 Flink通过水印来推进事件时间。水印是嵌入在流中的常规记录。计算程...
Flink Program Guide （5） -- 预定义的Timestamp Extractor / Watermark Emitter （DataStream API编程指导 -- For Ja...
weixin_30376163的博客
08-09 225
本文翻译自Pre-defined Timestamp Extractors / Watermark Emitter ------------------------------------------------------------------------------------------ 正如timestamps and watermark handling中所述，Flink提供了...
再谈Flink事件时间、水印和迟到数据处理
LittleMagic's Blog
12-27 1543
前言 之前的文章中已经屡次提到过Flink的事件时间（event time）、水印（watermark）、乱序（out-of-order）、迟到数据（late element）这些概念，虽然它们都非常基础，但笔者还没有对它们做过像样的介绍，感觉不太合适。正好今天脑子比较累，又是Friday night，不适合写复杂的东西，就来谈谈简单的吧。 事件时间与水印 所谓事件时间，就是Fli...
flink通过flink-connector-tidb-cdc使用streamapi方式连接tidb
04-04
Flink通过Flink-connector-tidb-cdc连接TiDB的过程如下： 1. 准备工作 在开始使用Flink-connector-tidb-cdc之前，需要准备以下内容： - TiDB实例 - TiCDC组件 - Flink-connector-tidb-cdc依赖的jar包 2. 创建Flink程序 创建Flink程序，导入Flink-connector-tidb-cdc依赖的jar包，然后使用Flink的Stream API编写代码。 3. 配置TiCDC 将TiCDC配置为启用TiDB集群的CDC功能，并将Flink的IP地址和端口号配置为CDC的下游组件。 4. 启动Flink程序 启动Flink程序，Flink-connector-tidb-cdc将从TiCDC中获取数据，并将其转换为Flink数据流。 5. 处理数据 使用Flink的Stream API对数据进行处理，例如过滤、转换、聚合等操作。 6. 将数据写回TiDB 通过Flink-connector-tidb-cdc将处理后的数据写回TiDB。 总结： Flink通过Flink-connector-tidb-cdc连接TiDB的过程相对简单，只需要准备好TiDB实例、TiCDC组件和Flink-connector-tidb-cdc依赖的jar包，然后使用Flink的Stream API进行编写即可。通过这种方式，可以实现实时的数据处理和写入TiDB。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值