Flink-跟着问题读源码：近24小时或者近XX小时这种SlidingEventTimeWindows相关的问题

已于 2022-09-15 13:21:03 修改
阅读量941 收藏
点赞数 1
分类专栏： Apache Flink 原理和实践 文章标签： flink 大数据
于 2020-08-21 15:28:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuleidaren/article/details/108148094
版权
本文介绍了在Flink中处理近24小时用户行为标签偏好的复杂算法，涉及窗口拆分、时间戳处理、水印策略、定时器操作以及并行度优化等方面，总结了开发过程中的关键点和问题解决经验。
摘要由CSDN通过智能技术生成

问题描述

这周接到一个新需求，近24小时的用户行为标签偏好跑分，实现的算法逻辑非常复杂，需要对用户的各类行为分别统计并求出比例，再配合各种时间衰减因子、反作弊数据等等。下面针对这次的开发总结下自己的心得，主要是flink window和state方面。

join维表之前预先聚合，否则CP失败
近24小时的window可以拆分为5分钟维度
onTimer
watermark的多次申明
timestamp必须是毫秒否则数据无法输出，也不报错，并且过滤脏数据，
Java中对数的使用，防止负数
并行度问题导致watermark
尽量减少key和window

在这里插入图片描述

wulei.cnvip
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Flink之滑动窗口（SlidingEventTimeWindows）
01-07
def main(args: Array[String]): Unit = { // 环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val dstream: DataStream[String] = env.socketTextStream(hadoop1,7777)
flink在EvnetTime 在 window 中的使用
song_quan_的博客
11-08 127
1 滚动窗口（TumblingEventTimeWindows）（Scala 版） 结果是按照 Event Time 的时间窗口计算得出的，而无关系统的时间（包括输入 的快慢） 2 滑动窗口（SlidingEventTimeWindows） 3 会话窗口（EventTimeSessionWindows） 相邻两次数据的 EventTime 的时间差超过指定的时间间隔就会触发执行。如果 加入 Watermark， 会在符合窗口触发的情况下进行延迟。到达...
Flink 时间流处理
chanyue123的博客
03-29 2943
讲解flink中时间的分类，以及时间在水位线、窗口计算中的应用
统计24小时内每个小时最后一条数据_Flink最难知识点解析：时间/窗口/水印/迟到数据处理
weixin_39962770的博客
11-30 2461
时间、窗口、水印、迟到数据这四个知识点几乎是Flink这个框架最难点。我之前发了很多文章来解释。很多同学仍然理解不了。事实上这跟Flink的文档不全有直接关系。在这个问题上官网的资料不够，学习成本巨大。希望这篇文章能解答读者在这个问题上的困惑。本文结合源码和实例讲解。Flink支持根据事件时间处理，数据流中的每条数据都需要具有各自的时间戳，代表着数据的产生时间【事件时间】。在分布式系统中，数据流的...
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 ...
flink-table-planner-2.12-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-table-planner_2.12-1.14.3.jar 赠送原API文档：flink-table-planner_2.12-1.14.3-javadoc.jar 赠送源代码：flink-table-planner_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-table-...
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器 Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 ...
统计用户停留的时间
12-16
运用本例子后将显示用户的登录时间。并且每过10s刷新一次页面显示用户的停留时间。
flink-userportrait-main:基于Flink流处理的动态实时亿级全端用户画像系统
05-26
数据库表结构：见flink-user-portrait-main项目根目录/dbfile/mysql/MongoDB- 版本：mongodb-linux-x86_64-4.0.9- 可视化工具Robomongo：robo3t-1.3.1 Windows版大数据组件- Hadoop：hadoop-2.8.5.tar.gz- HBase：...
Flink开发-滑动窗口SlidingWindows
qq884121435的博客
08-13 899
Flink开发-滑动窗口SlidingWindows1.Non-Keyed Sliding Windows2.Keyed Sliding Windows 滑动窗口是按照时间划分的窗口，其Assinger会将输入的每一条数据按照时间分配到固定长度的窗口内，并且还可以指定一个额外的滑动参数用来指定窗口滑动的频率（也叫滑动步长），因此当滑动步长小于窗口的长度时，窗口和窗口之间有数据重叠。 1.Non-Keyed Sliding Windows SlidingWindows的of方法如果指定两个参数，第一个参数
Flink跟着问题读源码 - SlidingEventTimeWindows接reduce结果数据倍增
m0_49826240的博客
09-27 994
1.异常情况 使用 SlidingEventTimeWindows 窗口，后面直接一个reduce算子，数据会出现倍增情况。 代码： DataStreamSource<String> localhost = env.socketTextStream("localhost", 9991, "\n"); final SingleOutputStreamOperator<DataEntity> dataSteam = localhost .flatMap(new FlatMa
Flink_EventTime 与 Window
qq_44509920的博客
07-19 376
文章目录1 EventTime 的引入2. Watermark2.1 基本概念2.2 Watermark 的引入3 EventTimeWindow API3.1 滚动窗口（TumblingEventTimeWindows）3.2 滑动窗口（SlidingEventTimeWindows）3.3 会话窗口（EventTimeSessionWindows） 1 EventTime 的引入 在 Flink 的流式处理中，绝大部分的业务都会使用 eventTime，一般只在 eventTime 无法使用时，才会被迫
Flink-电商用户行为分析(每隔 5 分钟输出最近一小时内点击量最多的前 N 个商品)
Knight
07-05 7420
数据 链接：https://pan.baidu.com/s/1InfWoNYUeV1KYyvFS1aXuA 提取码：z3p4 程序主体 import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.api.scala._ import org.apache.flink.streaming.api.TimeCharacteristic //640533,3168550,47198
FLink DataStream开发之Time与Window
qq_37135484的博客
04-26 889
Time Flink 流式处理中,存在时间的不同概念 Event Time: 事件的创建时间,通常由事件中的时间戳描述,相当于食品的生产日期 Ingestion Time:数据进入flink的时间,相当于食品快递到你家的时间 Processing Time:是每个执行基于时间操作的算子的本地系统时间,与机器相关 ,默认的时间属性就是 Processing Time ,相当于你吃到汉堡的时间 通过...
Flink大数据实时计算系列-Flink的Sliding Windows使用
段智华的博客
07-01 326
Flink大数据实时计算系列-Flink的Sliding Windows使用 目录 Flink的Sliding Windows使用Flink参考链接Flink系列博客 Flink的Sliding Windows使用 Flink参考链接 【Flink 官网】Apache Flink 【海牛学院】海牛社区资料 【海牛学院】大数据2020最新版Flink-青牛老师倾力打造 Flink系列博客 Flink 第一个 JAVA代码 Flink JAVA Lambda 实现 Flink JAVA Fu
利用Flink SQL实时统计单据状态（含历史数据）
王卫东 博客
08-01 8510
需求抽象下，有一种单据，整个生命周期中有很多种状态，现在要实时按照某个维度（例如用户id）统计其中某几个状态的数量，并按照该维度定时推送统计数据。
YuniKorn优化Flink-on-K8s调度：现状、挑战与未来
"1-FFA-YUNIKORN对Flink-on-K8s的调度优化-Final_compressed1" 本文主要探讨了YuniKorn如何优化Flink在Kubernetes(K8s)上的运行效率，以及Flink在K8s环境中的现状、挑战与未来的发展方向。 Flink on K8s现状： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值