【Flink】Flink 实时超时统计-A发生B不发生事件统计-不发生事件

最新推荐文章于 2022-09-06 15:58:12 发布
最新推荐文章于 2022-09-06 15:58:12 发布
阅读量873 收藏 1
点赞数 1
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106601191
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了如何在Flink中实现A事件发生但B事件未发生的实时超时统计。文章详细探讨了多种方案，包括基于消息队列、延迟下发、TimeService、CEP和SQL方法，并分析了各自的优缺点和适用场景。TimeService方案被认为是较为完美的解决方案，通过在Flink作业中注册触发时间并利用state进行存储和下发。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

主要是统计 A发生B不发生事件统计-不发生事件 这样的业务逻辑。这个在siddhi中是有直接函数的。

2.问题描述

这是来着Flink 社区的直播案例
在这里插入图片描述
在这里插入图片描述

3.方案

在这里插入图片描述
先看双流join的语意。首先原始数据到状态的时候，会保留在state中，然后假设右边一个流来了，那么这个流信息不仅会写入state中，还会根据你的join key 到左边流进行查询，看看有没有数据，如果有的话，那么久组成一

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Flink代码之CEP-----复杂事件处理，订单超时，连续三次登录失败(九)
YellowXiuHui的博客
06-18 1296
一、检测连续三次登录失败的事件 import org.apache.flink.cep.scala.CEP import org.apache.flink.cep.scala.pattern.Pattern import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.api.windowing.t
【阿里内部应用】利用blink CEP实现流计算中的超时统计问题 ...
weixin_33672109的博客
03-05 250
案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 一. 背景介绍 如<利用blink+MQ实现流计算中的延时统计问题>一文中所描述的场景，我们将其简化为以下案例：实时流的数据源结构如下： 物流订单号 支付时间 仓接单时间 仓出库时间 LP1 2018-08-01 08:00 LP1 2018-08-01...
【实时数仓篇】（03）菜鸟物流利用 Flink 实现实时超时统计场景
云祁QI
05-30 3229
文章目录一、前言二、实时数仓基本架构三、难题：实时超时统计四、解决方案 一、前言 在小破站看了晨磊大佬关于Flink的分享视频 https://www.bilibili.com/video/BV1TE411L7zV/?spm_id_from=333.788.videocard.4，这篇博客主要对这次分享的一些知识点做些整理。 看大佬，人美技术牛！ ( •̀ ω •́ )✧ 二、实时数仓基本架构 以下是菜鸟作为物流扛把子，它对于数据的需求，主要有以下四点： 实时的数据，它存在的计算难点如下。我们知道，实时
【Flink】状态编程: 订单超时告警
一只皮皮熊
03-04 2630
文章目录一、基础概念二、Flink状态编程1、支持的状态类型2、Managed Keyed State六种类型基本API状态的生命周期3、Managed Operator State三、案例:订单延迟告警统计1、需求描述2、需求分析3、数据与模型4、详细实现 一、基础概念 在Flink架构体系中，有状态计算可以说是Flink非常重要的特性之一。 有状态计算是指: 在程序计算过程中，在Flink...
技本功丨用短平快的方式告诉你：Flink-SQL的扩展实现 ...
weixin_34081595的博客
03-28 172
2019年1月28日，阿里云宣布开源“计算王牌”实时计算平台Blink。回馈给ApacheFlink社区。官方称，计算延迟已经降到毫秒级，也就是你在浏览网页的时候，眨了一下眼睛，淘宝、天猫处理的信息已经刷新了17亿次。 作为一家对技术有追求、有渴望的公司，怎么少得了为Flink社区做些贡献呢？ 夫子说 首先，本文所述均基于flink 1.5.4。 我...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 ...
Flink状态编程-订单超时告警.pdf
03-04
Flink状态编程学习小结，附订单超时告警实战案例。 无状态计算实现的复杂度相对较低，实现起来较容易，但是无法完成提到的比较复杂的业务场景: CEP（复杂事件处理）:获取符合某一特定事件规则的事件，状态计算就...
Flink四大基石--------------Time(Event Time).未完待续
data_curd的博客
05-26 695
Time 时间分类 EventTime(事件发生时间)： 事件发生的时间，例如：点击网站上的某个链接的时间，每一条日志都会记录自己的生成时间如果以EventTime为基准来定义时间窗口那将形成EventTimeWindow,要求消息本身就应该携带EventTime IngestionTime(数据被Flink的Source加载的时间)： 数据进入Flink的时间，如某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据如果以IngesingtTim
复杂事件处理（Complex Event Processing）的思考和分析
07-20
复杂事件处理（Complex Event Processing）技术的分析，案例介绍。
技本功丨用短平快的方式告诉你：Flink-SQL的扩展实现
weixin_33980459的博客
03-28 141
2019年1月28日，阿里云宣布开源“计算王牌”实时计算平台Blink。回馈给ApacheFlink社区。官方称，计算延迟已经降到毫秒级，也就是你在浏览网页的时候，眨了一下眼睛，淘宝、天猫处理的信息已经刷新了17亿次。 作为一家对技术有追求、有渴望的公司，怎么少得了为Flink社区做些贡献呢？ 夫子说 首先，本文所述均基于flink 1.5.4。 我...
Flink练习之通话时长的统计
FBB360JAVA的博客
12-14 3388
Flink的练习之电话通信统计 环境介绍 1. 软件 flink版本：flink-1.9.1-bin-scala_2.11.tgz 官网下载 kafka版本：kafka_2.11-2.3.1.tgz 官网下载 zookeeper版本：3.4.14 mysql版本：8.0.18 操作系统：windows 8.1 redis 开发工具idea 本文将实现一个电话消费的统计。具体业务描述：使用j...
FlinkCEP - Complex event processing for Flink
weixin_33924312的博客
08-08 98
https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/libs/cep.html   首先目的是匹配pattern sequence pattern Sequence是由多个pattern构成 DataStream&lt;Event&gt; input = ... Pattern&lt;Event, ?&gt; pat...
Flink CEP - 复杂事件处理（Complex Event Processing）
qq_31021213的博客
07-15 968
Flink CEP
第五章 Flink Complex Event Processing 复杂事件处理
weixin_33895016的博客
01-02 278
转载需标明出处 mythmoon@163.comComplex Event Processing 复杂事件处理 In the previous chapter, we talked about the Table API provided by Apache Flink and how we can use it to ...
规则引擎和 Flink CEP
qq_32323239的博客
09-06 1497
结合了时序的上下文：如风控场景识别了作弊的行为序列后，给「先做 xx，后做 xx，再做 xx」的用户进行封禁；结合了否定的语义：如电商营销场景给「浏览商品后 10 分钟未下单的用户」发送优惠券；结合了自定义统计的语义：如实时监控场景为每个微服务设定监控规则，「第一次报警发生后，30s 内发生第二次报警」的情况进行报警升级；CEP 本身并没有脱离实时计算的范畴，所以绝大部分用户还是选择基于 Flink，或者已有的计算服务上去搭建相关的框架，CEP 对应的功能更多是以 library 的形式存在。
【MySQL 教程】达达集团实时计算任务SQL化实践
weixin_47143210的博客
04-20 362
作者简介：马阳阳 达达集团数据平台高级开发工程师，负责达达集团计算引擎相关的维护和开发工作 本文主要介绍了达达集团使用基于开源的Flink Stream SQL开发的Dada Flink SQL进行实时计算任务SQL化过程中的实践经验 01 背景 时间回到2018年，在数据平台和数据团队的共同努力下，我们已经有了完整的离线计算流程，完善的离线数仓模型，也上线了很多的数据产品和大量的数据报表。随着业...
FLINK SIDDHI ADDON 学习笔记
weixin_34198583的博客
02-25 348
SIDDHI 是一款功能强大的CEP 引擎，具有自己的DSL,丰富的模式匹配功能和可扩展性, 感谢陈浩同学提供了SIDDHI和FLINK的整合功能 https://github.com/haoch/flink-siddhi 本文主要介绍了这个ADDON的一些实现思路 将FLINK STREAM 转化为 SIDDHI STREAM 定义   用法： SiddhiCEP.registerSt...
轻量级规则引擎调研
雨的博客
11-02 956
轻量级规则引擎调研 淡淡的小番茄关注 0.8682021.06.25 20:30:59字数 689阅读 1,141 我们基于Flink实现了云端的规则引擎，以flink on yarn方式在运行，依赖hadoop和zookeeper，对于边缘侧来说比较重，所以打算调研下轻量级的规则引擎，我们的业务诉求如下： 业务需求背景 1、轻量级 2、支持海量规则 4、便捷的规则启停 5、动态加载 从如下几方面对比目前比较流行的几个规则引擎框架： drools 1、社区活跃度 drools（3.7
Apache Flink CEP：实现超时状态监控的详细教程
一旦超时事件发生，Flink会自动执行预先配置的回调函数，比如发送警告通知、更新状态或采取其他纠正措施。 总结来说，Apache Flink CEP实现超时状态监控涉及以下几个步骤： 1. 定义PatternStream，结合DataStream...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值