基于flink的动态告警规则设计

最新推荐文章于 2023-08-05 23:49:48 发布
最新推荐文章于 2023-08-05 23:49:48 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： flink 文章标签： flink flinkcep drools 动态规划 业务规则设计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38774360/article/details/117031969
版权

暂时想到的方案大致有3种：
1. 动态开窗+状态编程，复杂度高
2. flink-cep+groovy;
3. flink+drool;
2和3效率不太清楚，正在调研

**飞星**
关注
专栏目录
Flink有状态流处理的数据质量监控与报警
程序员光剑
07-18 1077
Flink有状态流处理的数据质量监控与报警 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着大数据时代的到来，实时
【flink】Flink-Cep实现规则动态更新
九师兄
11-25 2663
1.概述 我们是用processfunction实现的cep动态更新，然后看到这个是原生api感觉有趣，研究一下 原文：https://mp.weixin.qq.com/s/mh–wQvAWQq2tDPKq0-m8Q 规则引擎通常对我们的理解就是用来做模式匹配的，在数据流里面检测满足规则要求的数据。有人会问为什么需要规则动态变更呢？直接修改了规则把服务重启一下不就可以了吗，这个当然是不行的，规则引擎里面通常会维护很多不同的规则，例如在监控告警的场景下，如果每个人修改一下自己的监控阈值，就重启一下服务，必然会
如何基于Flink+TensorFlow打造实时智能异常检测平台
02-24
AI前线导读：Flink已经渐渐成为实时计算引擎的首选之一，从简单的实时ETL到复杂的CEP场景，Flink都能够很好地驾驭。本文整理自携程实时计算负责人潘国庆在QCon全球软件开发大会(北京站)2019的演讲，他介绍了携程如何基于Flink与TensorFlow构建实时智能异常检测平台，以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题，实现了业务指标毫秒级延迟与智能化检测，同时依托Flink实现了强大的容错机制。随着互联网的迅速发展，各个公司都建立了自己的监控体系，用于提前发现问题降低损失，携程亦是如此。然而携程的监控体系存在以下三个问题：监控系统繁多监控告警配置复杂没
Flink基础（八）：流作业中的广播变量和BroadcastState
weixin_42155491的博客
03-15 3287
Broadcast State 支持将某一个流的数据广播到下游所有的 Task 中，数据都会存储在下游 Task 内存中，接收到广播的数据流后就可以在操作中利用这些数据，一般我们会将一些规则数据进行这样广播下去，然后其他的 Task 也都能根据这些规则数据做配置，更常见的就是规则动态的更新，然后下游还能够动态的感知。 Broadcast state 的特点是： 使用 Map 类型的数据结构 仅适...
Flink cep动态模板+cep规则动态修改实践
热门推荐
qq_31866793的博客
04-15 1万+
Flink CEP 概念以及使用场景 1.什么是CEP？ CEP的意思是复杂事件处理，例如：起床-->洗漱-->吃饭-->上班等一系列串联起来的事件流形成的模式称为 CEP。如果发现某一次起床后没有刷牙洗脸亦或是吃饭就直接上班，就可以把这种非正常的事件流匹配出来进行分析，看看今天是不是起晚了。 在真实场景中，起床，洗漱，吃饭，上班就是一个个事件数据。 CEP的特征如下： 目标：从有序的简单事件流中发现一些高阶特征； 输入：一个或多个简单事件构成...
Flink-Cep实现规则动态更新
yang灬仔
11-30 5939
Flink-Cep实现规则动态更新 规则引擎通常对我们的理解就是用来做模式匹配的，在数据流里面检测满足规则要求的数据。有人会问为什么需要规则动态变更呢？直接修改了规则把服务重启一下不就可以了吗，这个当然是不行的，规则引擎里面通常会维护很多不同的规则，例如在监控告警的场景下，如果每个人修改一下自己的监控阈值，就重启一下服务，必然会影响其他人的使用，因此需要线上满足规则动态变更加载。本篇基于Flink-Cep 来实现规则动态变更加载，同时参考了Flink中文社区刘博老师的分享(https://develope
flink+drools动态规则示例之温度跳变告警
sunlang的博客
06-28 1677
flink+drools动态规则示例之温度跳变告警 package com.mz.test; import com.google.common.collect.Lists; import lombok.*; import lombok.Getter; import lombok.NoArgsConstructor; import lombok.Setter; import lombok.ToString; import org.apache.flink.api.common.state.Broadcast
轻松通关Flink第37讲：自定义 Pattern 和报警规则
sucaiwa的博客
03-29 373
上一课时定义了几个不同的消息源，我们分别根据需求自定义匹配模式。第一个场景，连续登录场景在这个场景中，我们需要找出那些 5 秒钟内连续登录失败的账号，然后禁止用户再次尝试登录需要等待 1 分钟。第二个场景，超时未支付在这个场景中，我们需要找出那些下单后 10 分钟内没有支付的订单。})})第三个场景，找出交易活跃用户在这个场景下，我们需要找出那些 24 小时内至少 5 次有效交易的账户。
基于 Apache Flink 的实时监控告警系统
http://www.54tianzhisheng.cn/
04-16 7667
点击上方“zhisheng”，选择“设为星标”后台回复”666“获取公众号专属资料本文首发自本人的知识星球《Flink 精进学习》，文末点击阅读原文可以查看对应讲解的视频在如今微服务、云...
基于Flinkcep-1.11.2 动态规则修改实践
qq_31866793的博客
12-10 2719
1，事先说明 这个代码搞出来说白了就是在大佬的代码参考下完成的，之前就一直想搞cep规则动态修改，苦于对cep的源码不熟悉，没法下手。 之前有个大佬搞过基于flink-cep 1.8版本的动态规则修改。 后来有个大佬搞过基于flink-cep 1.1.0的。 我看代码的逻辑是后者更复杂，前者更好理解，后者需要修改的地方太多，后来我仔细思考之后发现，还是前者效果更好一些。 因为可以结合配置流，或者数据里面获取新的规则，实现规则的自动更新，后者可能需要定时获取规则比对是否发现修改。 配置流这个目..
Java版水果管理系统源码-FlinkAlarmOpsSys:本项目用于监控日志数据流，管理报警规则、报警阈值和频率。基于ApacheFlin
06-05
Java版水果管理系统源码 基于Flink的关键字过滤预警系统 该项目用于监控日志数据流，管理警报规则，警报阈值和频率，配置成功实时生效。 实现基于Apache Flink，Spring Boot，Alibaba Nacos，MySQL和JQuery。 [TOC] Important: 目前只是最最基本刚刚可以跑起来的版本，还有很多设计不合理要改进的地方，开源是为了分享做项目使用Flink的一些思路，个人认为有几点较为值得参考，本人实测可用： 自定义的HttpSink、作为Socket服务端接收数据 :ServerSockSource Alibaba Nacos可以给算子绑定事件监听，实时改变算子规则(原理是长连接和java的事件机制) Flink集群中一个Job执行实时Map操作把结果Socket发给另一个Job使用时间窗口聚合 Important:本项目有几个大坑: 使用MySQL：因为探索阶段使用Spring+JPA的组合构建后端，但引入Nacos后，MySQL显得鸡肋完全可以用Nacos替代 关于前端：前端JS代码极度反人类，使用jQuery从数据构建页面，是因为此项目必须作为
Flink Cep 扩展 - 动态规则更新及Pattern间within()
麦香鸡翅的博客
07-06 2189
对Flink cep的两个痛点进行扩展： 1.不能动态规则更新 2.不支持 Pattern间within()
轻松通关Flink第38讲：Flink 调用 CEP 实现报警功能
sucaiwa的博客
03-29 619
这一课时我们分别对连续登录、交易活跃用户、超时未支付三种业务场景进行了完整的代码实现，我们实际业务场景中可以根据本节课的内容灵活处理。
Flink动态业务规则的实现
张小小凡
08-18 1451
在不停止flink任务的情况下，在外部通过配置，来达到修改flink输出特征逻辑的变化、新增和删除。
基于flink-cdc实现动态规则引擎
qq_42745033的博客
08-25 2219
基于flink-cdc实现动态规则引擎
Flink CEP（三）pattern动态更新（附源码）
最新发布
StephenYou的自习室
08-05 1996
线上运行的CEP中肯定经常遇到规则变更的情况，如果每次变更时都将任务重启、重新发布是非常不优雅的。本文将介绍CEP Pattern动态注入的原理和实现，文末附上源码地址。
钱大妈基于 Flink 的实时风控实践
Ververica的博客
06-15 937
钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。
实时安全分析：基于Flink的异常检测技术
在收集阶段，需要全面收集各种日志、告警和外部情报；处理阶段对数据进行标准化、字段扩展和关联；分析阶段执行多维度指标计算和条件判断；最后，输出阶段将分析结果用于可视化、规则检测和特征提取。 ELK（Elastic...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值