flink实现窗口大小动态调整

最新推荐文章于 2024-01-21 03:39:42 发布
最新推荐文章于 2024-01-21 03:39:42 发布
阅读量1.3k 收藏 1
点赞数 1
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44657084/article/details/126089513
版权

flink作为一个流处理框架，可以很方便的实现对无界限的数据的各种处理。而要实现对一定界限内数据的统计计算，就需要窗口这一个重要概念。flink中的窗口的概念和计算机网络中流量窗口的形式类似。在现在这一流量安全监控的项目中，需要动态设置风险触发的频率，为此需要动态设置窗口的大小。但flink的窗口API并没有动态调整窗口大小的方式。

 

经过在网上的搜索找到了一种可行的办法，那就是仿照官方代码去自定义一种WindowAssigner来以流量中的数据为参数来创建window。以此为依据，就可以现在流量中通过之前学过的广播流将输入流量与window大小输入流合并在一起，以此为输入，然后自定义的windowassigner就可以从输入中的window大小数据动态调整window大小。

动态窗口编写参考

weixin_44657084
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink之滑动窗口（SlidingEventTimeWindows）
01-07
def main(args: Array[String]): Unit = { // 环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val dstream: DataStream[String] = env.socketTextStream(hadoop1,7777)
Flink动态表的连续查询
02-24
越来越多的公司采用流处理，并将现有的批处理应用迁移到流处理，或者对新的用例采用流处理实现的解决方案。其中许多应用集中在流数据分析上，分析的数据流来自各种源，例如数据库事务、点击、传感器测量或IoT设备。ApacheFlink非常适用于流分析应用程序，因为它支持事件时间语义，确保只处理一次，以及同时实现了高吞吐量和低延迟。因为这些特性，Flink能够近实时对大量的输入数据计算出一个确定和精确的结果，并且在发生故障的时候提供一次性语义。Flink的核心流处理API，DataStreamAPI，非常具有表现力，并且为许多常见操作提供了原语。在其他特性中，它提供了高度可定制的窗口逻辑，不同表现特征下的
Flink动态CEP，来自啤酒鸭
09-19
Flink动态CEP，来自黄瓜炖啤酒鸭的无私分享； 博主原文地址：https://blog.csdn.net/qq_31866793/article/details/115719358
Flink 窗口的应用与实现.pdf
03-21
Flink 窗口的应用与实现
Flink动态开窗——根据缓存的规则信息动态设置窗口size
二两窝子面的博客
11-21 276
Flink数据关联缓存的外部规则信息动态设置窗口size做动态开窗计算
Flink动态窗口(动态window参数)
物联网三分钟
09-28 2741
原文Stack Overflow上的大卫安德森的回答 Flink的窗口API不支持动态更改窗口大小。 需要自己用KeyedProcessFunction实现动态窗口参数 下面例子中的durationMsec就是窗口长度.我也是参照这个例子改的,把durationMsec通过传入元素的某个字段来请求获取.然后用Guava Cache缓存一定时间即可 public class PseudoWindow extends KeyedProcessFunction<String, KeyedDataPoint&
Flink如何用窗格来优化窗口
VinoYang的专栏
09-29 5294
对于处理时间类型的窗口（包含了翻滚窗口和滑动窗口），Flink会使用称之为”pane”的技术来优化这类时间窗口的计算。
Flink 实现动态时间窗口
q977734161的专栏
06-10 978
目前常用的有基于处理时间以及基于时间时间的滑动窗口以及滚动窗口，不过这些窗口时间是写死的，当有需求可以根据配置动态调整窗口大小的时候就得重新启动，发布程序，这种方式在变更频率小的时候无所谓，当变更频率大的时候就很耗时间，那么接下来介绍一种可以动态更改时间的方法.........
bat窗口大小设置_8-Flink中的窗口
weixin_39973271的博客
11-21 306
戳原文：1-Flink入门2-本地环境搭建&构建第一个Flink应用3-DataSet API 4-DataSteam API5-集群部署6-分布式缓存7-重启策略8-Flink中的窗口9-Flink中的Time窗口窗口类型 flink支持两种划分窗口的方式（time和count） 如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个...
flink 滚动窗口、滑动窗口、会话窗口、全局窗口
热门推荐
不是一枚开发
06-03 6万+
  根据分配数据的规则，窗口的具体实现可以分为 4 类：滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）、会话窗口（Session Window），以及全局窗口（Global Window）  滚动窗口有固定的大小，是一种的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（window size）。   与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾
大数据HelloWorld-Flink实现WordCount
10-16
主要介绍了大数据HelloWorld-Flink实现WordCount的相关知识，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
flink教程
Cool_Pepsi的博客
10-15 929
pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0
实时Flink大数据分析平台的数据流时间窗口操作
最新发布
禅与计算机程序设计艺术
01-21 853
1.背景介绍 在大数据时代，实时分析和处理数据变得越来越重要。Apache Flink是一个流处理框架，它可以处理大规模的实时数据流，并提供高性能和低延迟的数据处理能力。在Flink中，时间窗口是一种有用的数据处理方法，可以帮助我们对数据流进行聚合和分析。本文将深入探讨Flink大数据分析平台的数据流时间窗口操作，包括背景介绍、核心概念、算法原理、最佳实践、应用场景、工具推荐等。 1. 背景介...
基于 TiDB + Flink 实现的滑动窗口实时累计指标算法
TiDB_PingCAP 的博客
05-09 932
当前的市场环境对产品运营提出了更高的要求，特别是对数据指标实时性的要求日益严格。为了能够实时监测数据动态和特征用户的状态，我们采用了分布式数据库 TiDB 和计算框架 Flink 的组合，提出了一种基于滑动窗口的实时累计指标算法。该算法能够在市场营销活动中发挥积极的作用，显著改善用户体验并促进收益增长。
Flink窗口大小怎么确定的，开始时间是时候？
百看不如一RUN
01-18 3857
我还记得的在我刚学习flink的时候，B站的老师说过，Flink窗口的开始时间和结束时间和你想的不一样。那个时候我好像记得老师说过，flink的窗口大小会根据你的时间单位来进行修正
Flink中的时间和窗口（三）
JiaXingNashishua的博客
09-15 1020
对于不同的窗口类型，触发计算的条件也会不同。例如，一个滚动事件时间窗口，应该在 水位线到达窗口结束时间的时候触发计算，属于“定点发车”；而一个计数窗口，会在窗口中 元素数量达到定义大小时触发计算，属于“人满就发车”。所以 Flink 预定义的窗口类型都有 对应内置的触发器。对于事件时间窗口而言，除去到达结束时间的“定点发车”，还有另一种情形。当我们设 置了允许延迟，那么如果水位线超过了窗口结束时间、但还没有到达设定的最大延迟时间，这 期间内到达的迟到数据也会触发窗口计算。
24.flink windows 窗口，彻底站起来。
笔生花的博客
08-23 1384
本文的主要目的是学会flink window窗口编程，本文章不会对：滑动窗口，滚动窗口，sessoin窗口作深入的讲解，那不是本文的目的。本文在假设你对窗口有一定了解的基础的前提下，带你看看flink窗口编程。flink 水位线彻底站起来。.........
Flink 实现自定义滑动窗口
knowfarhhy
02-08 1038
背景 一般情况下 Flink 提供的窗口可以满足我们大部分的场景，但是有时候我们需要计算一个固定时间范围内的数据，比如实时计算每天凌晨到第二天凌晨的数据，或者每天上午 7 点到第二天上午 7 点。类似于这种情况 Flink 默认提供的窗口是不支持的，因为 Flink 计算窗口的开始时间和结束时间是根据数据本身携带的时间戳然后把数据划分到不同的窗口的，所以它不是一个固定的范围。这个时候就需要我们自己实现窗口划分的逻辑。Flink 提供了 WindowAssigner 抽象类，我们只需要实现 assignWin
Flink动态窗口(二)
物联网三分钟
10-20 2035
第一篇地址 前面一篇只写了思路来源,不是很明确做法. 有些朋友有缘看到了不是很明白,后面换了种简单高效的方式,匆忙记录一下 下面只描述了滚动窗口的做法,滑动窗口做法类似 自定义WindowAssigner AsyncParamRequestFunction 继承 RichAsyncFunction 使用flink的异步IO获取到窗口大小等动态数据放到对应的元素中. 其中使用了定时过期的Guava Cache来减少数据的请求.具体代码就不贴了, 但是这样也就存在了这些数据一定时间的延迟更新,自己取舍 下面是
flink 会话窗口
06-02
Flink会话窗口(Session Window)是一种用于处理无限流数据的窗口类型。和其他窗口类型不同的是，会话窗口不是根据固定的时间间隔来划分窗口，而是根据两个事件之间的间隔时间来划分。具体来说，当一个事件到达后，Flink会等待另一个事件到达，如果这两个事件之间的时间间隔超过了指定的会话超时时间，则认为前一个事件所在的会话已经结束，将其归入一个窗口中进行处理。 会话窗口的特点是窗口大小是不固定的，而且窗口的开始和结束时间是动态调整的，这使得会话窗口可以适应数据流中的不规则事件间隔，并且可以尽可能地将相关事件放在同一个窗口中进行处理。 在Flink中，可以通过`window()`函数来指定窗口类型，例如： ```java DataStream<Tuple2<String, Integer>> dataStream = ... dataStream.keyBy(0) .window(EventTimeSessionWindows.withGap(Time.seconds(20))) .reduce((v1, v2) -> new Tuple2<>(v1.f0, v1.f1 + v2.f1)); ``` 上述代码中，`EventTimeSessionWindows.withGap(Time.seconds(20))`表示使用会话窗口，并且超时时间为20秒。在窗口中，可以对窗口内的数据进行各种操作，例如reduce、aggregate等等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值