95-180-050-源码-Watermark-允许固定数量延迟的分配器(BoundedOutOfOrdernessTimestampExtractor)

最新推荐文章于 2022-01-27 20:36:57 发布
最新推荐文章于 2022-01-27 20:36:57 发布
阅读量1.7k 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105889022
版权
大数据-flink 专栏收录该内容
838 篇文章 847 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Flink中的BoundedOutOfOrdernessTimestampExtractor，它用于处理带有时间戳且可能存在固定延迟的元素。该提取器允许指定最大延迟时间（maxOutOfOrderness），例如10秒，超出此延迟的元素将不被纳入窗口计算。
摘要由CSDN通过智能技术生成

1.视界

在这里插入图片描述

2.概述

 周期性水印生成的另一个例子是当水印滞后的最大时间戳在数据流中被认为是一个固定的时间，在这种情况下，在数据流中遇到的最大延迟是已知的。

​ 例如，创建一个带时间戳的并在一个固定的时间内传播的元素的测试源。对于这些情况，Flink 提供了BoundedOutOfOrdernessTimestampExtractor，以maxOutOfOrderness作为参数，这个maxOutOfOrderness是指在窗口计算的最后，一个元素允许的最大延迟时间。

​ 延迟与t-t_w的结果相对应，这里t指的是元素的timestamp，而t_w指的是上个水印。如果延迟>0 那么这个元素被认为是延迟的，默认情况下，这个元素不计入窗口的最终计算中。

程序


DataStream<MyEvent> stream = ...
 
DataStream
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
聊聊flink的BoundedOutOfOrdernessTimestampExtractor
weixin_34297704的博客
12-21 439
序 本文主要研究一下flink的BoundedOutOfOrdernessTimestampExtractor BoundedOutOfOrdernessTimestampExtractor flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/functions/timestamps/Bounded...
flink BoundedOutOfOrdernessTimestampExtractor
weixin_43847900的博客
06-03 1298
BoundedOutOfOrdernessTimestampExtractor 实现了 AssignerWithPeriodicWatermarks (注册周期生成Watermarks） 源码如下 第一次注册会生成当前最大时间戳currentMaxTimestamp =lastEmittedWatermark - 时间间隔(maxOutOfOrderness) public abstract class BoundedOutOfOrdernessTimestampExtractor<T>
Flink简单的设置BoundedOutOfOrdernessTimestampExtractor水印代码
qq_31866793的博客
08-15 4158
object KeyByDemo { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment; val input: DataStreamSource[WordWithCount] = env.fromElements( ...
blind-watermark-基于频域的数字盲水印
最新发布
06-28
学习图像处理需要掌握一定的数学基础和编程技能。下面是学习图像处理的一些建议：首先，需要了解图像处理的基本概念，包括图像表示、图像类型、图像处理的基本操作等。了解这些概念可以帮助你更好地理解图像处理的...
C# Onnx yolov8n-watermark-detection.rar
06-03
C# Onnx yolov8n-watermark-detection.rar 博客地址：https://lw112190.blog.csdn.net/article/details/139418301
WaterMark-master.zip
08-10
3. 动态水印：除了静态水印，WaterMark Master还允许创建动态水印，如旋转、缩放、淡入淡出等效果，增加水印的视觉吸引力。 三、图片隐写与盲水印技术 在WaterMark Master中，我们还可以看到"图片隐写"和"盲水印"的...
hexo-images-watermark：hexo开发的本地图片水印插件
02-26
npm install hexo-images-watermark 使用yarn安装插件 yarn add hexo-images-watermark 在站点配置文件_config.yml中进行如下配置： watermark : enable : true textEnable : true rotate : -45 gravity : ...
【深入浅出flink】第13篇：从源码解读flink中Watermark的周期性和间断式生成方式
雷恩Layne
01-27 1989
我们通常通过DataStream的assignTimestampsAndWatermarks方法引入Watermark，assignTimestampsAndWatermarks方法中要求传入的接口有两种，一种是AssignerWithPeriodicWatermarks（周期性生成Watermark的时间戳分配器），另一中是AssignerWithPunctuatedWatermarks（间断式生成Watermark的时间戳分配器），它们都是TimestampAssigner(时间戳分配器)接口的子接口。
Flink中Watermark定时生成源码分析
微信搜：import_bigdata，大数据领域硬核原创作者
08-28 686
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 watermark的生成策略有两种：一种是周期性生成，另外一种是根据特定标记生成。在实际使用中大多数情况下会选择周期性生成方式也就是AssignerWithPeriodicWatermarks方式，使用方式如下： //指定为evenTime时间语义 env.setStreamTimeCharact
flink实战--水印（watermark）终极总结
阿华田的博客
12-24 7539
水印（waterMark） 了解水印前需要了解事件时间（eventTime）和处理时间（processTime）的概念，参考博客：https://blog.csdn.net/aA518189/article/details/82908993了解事件时间。 Flink通过水印来推进事件时间。水印是嵌入在流中的常规记录。计算程...
【日期、时区、时间】本地时间转UTC时间详解
热门推荐
m0_45406092的博客
04-03 1万+
/** * 把时间转化为utc时间格式 * * @param localTime * @return */ public static Date translatetoUtc(long localTime, TimeZone localZone) { Calendar cal = Calendar.getInstanc...
Flink DataStream 提取Timestamp与生成Watermark
王佩的CSDN博客
11-03 2382
为了基于事件时间来处理每个元素，Flink需要知道每个元素(即事件)的事件时间(Timestamp)。为了衡量事件时间的处理进度，需要指定水印(Watermark)。 本文总结Flink DataStream中提取Timestamp与生成Watermark的两种方式。 在Source Function中直接指定Timestamp和生成Watermark 在源端(即SourceFunction)中直...
Flink预定义时间戳提取器/水印发射器
踏雪无痕
06-16 420
一.简介 Flink提供了抽象，允许程序员分配自己的时间戳并发出自己的水印。更具体地说，根据使用情况，可以通过实现AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks接口之一来实现。简而言之，第一个将定期发出水印，而第二个则根据传入记录的某些属性发出水印，例如，每当流中遇到特殊元素时。 为了进一步简化此类任务的编程工作，Flink附带了一些预先实现的时间戳分配器。 二.时间戳递增的分配器 定期生成水印的最简单的特殊情况是给定源任务看到
flink assignTimestampsAndWatermarks两种水印生成方式 源码分析
weixin_40809627的博客
07-28 1万+
时间戳和水印的时间生成方式一般有一下两种方式 1、BoundedOutOfOrdernessTimestampExtractor AscendingTimestampExtractor
flink定时器使用问题
L13763338360的博客
01-29 2912
时间模型 flink在streaming程序中支持三种不同的时间模型 event time：事件发生时间。根据事件时间处理，可能需要等待一定时间的延迟事件和无序事件，事件时间也常常跟处理时间操作一起使用。 ingestion time：进入flink的时间（source operator分配的时间）。不能处理任何无序事件或者延迟事件，但是程序无需指定如何产生水印。 processing time：flink执行window操作的时间。处理时间最简单，有最好的性能和最低的延迟，但无法处理事件乱序问题。
vue-watermark-component
12-07
npm install vue-watermark-component --save ``` 2.在Vue项目中引入Vue Watermark Component ```javascript import Vue from 'vue' import VueWatermark from 'vue-watermark-component' Vue.use(VueWatermark) `...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值