基于flink的动态告警规则设计

最新推荐文章于 2023-03-29 08:02:58 发布
最新推荐文章于 2023-03-29 08:02:58 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： flink 文章标签： flink flinkcep drools 动态规划 业务规则设计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38774360/article/details/117031969
版权

暂时想到的方案大致有3种：
1. 动态开窗+状态编程，复杂度高
2. flink-cep+groovy;
3. flink+drool;
2和3效率不太清楚，正在调研

**飞星**
关注
专栏目录
Flink有状态流处理的数据质量监控与报警
程序员光剑
07-18 1079
Flink有状态流处理的数据质量监控与报警 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着大数据时代的到来，实时
如何基于Flink+TensorFlow打造实时智能异常检测平台
02-24
AI前线导读：Flink已经渐渐成为实时计算引擎的首选之一，从简单的实时ETL到复杂的CEP场景，Flink都能够很好地驾驭。本文整理自携程实时计算负责人潘国庆在QCon全球软件开发大会(北京站)2019的演讲，他介绍了携程如何基于Flink与TensorFlow构建实时智能异常检测平台，以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题，实现了业务指标毫秒级延迟与智能化检测，同时依托Flink实现了强大的容错机制。随着互联网的迅速发展，各个公司都建立了自己的监控体系，用于提前发现问题降低损失，携程亦是如此。然而携程的监控体系存在以下三个问题：监控系统繁多监控告警配置复杂没
Flink基础（八）：流作业中的广播变量和BroadcastState
weixin_42155491的博客
03-15 3292
Broadcast State 支持将某一个流的数据广播到下游所有的 Task 中，数据都会存储在下游 Task 内存中，接收到广播的数据流后就可以在操作中利用这些数据，一般我们会将一些规则数据进行这样广播下去，然后其他的 Task 也都能根据这些规则数据做配置，更常见的就是规则动态的更新，然后下游还能够动态的感知。 Broadcast state 的特点是： 使用 Map 类型的数据结构 仅适...
Flink cep动态模板+cep规则动态修改实践
热门推荐
qq_31866793的博客
04-15 1万+
Flink CEP 概念以及使用场景 1.什么是CEP？ CEP的意思是复杂事件处理，例如：起床-->洗漱-->吃饭-->上班等一系列串联起来的事件流形成的模式称为 CEP。如果发现某一次起床后没有刷牙洗脸亦或是吃饭就直接上班，就可以把这种非正常的事件流匹配出来进行分析，看看今天是不是起晚了。 在真实场景中，起床，洗漱，吃饭，上班就是一个个事件数据。 CEP的特征如下： 目标：从有序的简单事件流中发现一些高阶特征； 输入：一个或多个简单事件构成...
基于Flink+kafka实时告警
huangpf_vcx
01-16 1907
某项目使用告警系统的逻辑是将实时数据保存到本地数据库再使用定时任务做判断，然后产生告警数据。这种方式存在告警的延时实在是太高了。数据从产生到保存，从保存到判断都会存在时间差，按照保存数据定时5分钟一次，定时任务5分钟一次。最高会产生10分钟的误差，这种告警就没什么意义了。
钱大妈基于 Flink 的实时风控实践
Ververica的博客
06-15 939
钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。
Flink动态业务规则的实现
张小小凡
08-18 1454
在不停止flink任务的情况下，在外部通过配置，来达到修改flink输出特征逻辑的变化、新增和删除。
flink+drools动态规则示例之温度跳变告警
sunlang的博客
06-28 1679
flink+drools动态规则示例之温度跳变告警 package com.mz.test; import com.google.common.collect.Lists; import lombok.*; import lombok.Getter; import lombok.NoArgsConstructor; import lombok.Setter; import lombok.ToString; import org.apache.flink.api.common.state.Broadcast
基于Flink的安全数据分析与异常检测.pdf
02-03
* 数据收集阶段：需要尽可能全面的收集可用于后续处理的日志、告警、外部情报等数据。 * 数据处理阶段：需要对收集的多种日志进行标准处理、字段扩展、数据关联等操作。 * 数据分析阶段：需要对标准化的数据进行多...
基于Flink的实时反爬虫系统源码.zip
10-27
本篇将详细解析一个基于Flink的实时反爬虫系统源码，带你深入理解其设计原理和实现机制。 Flink，全名Apache Flink，是一款开源的流处理框架，以其强大的流批一体处理能力、低延迟和高吞吐量著称。在实时反爬虫系统...
Java版水果管理系统源码-FlinkAlarmOpsSys:本项目用于监控日志数据流，管理报警规则、报警阈值和频率。基于ApacheFlin
06-05
基于Flink的关键字过滤预警系统 该项目用于监控日志数据流，管理警报规则，警报阈值和频率，配置成功实时生效。 实现基于Apache Flink，Spring Boot，Alibaba Nacos，MySQL和JQuery。 [TOC] Important: 目前只是最最...
Flink-Cep实现规则动态更新
yang灬仔
11-30 5942
Flink-Cep实现规则动态更新 规则引擎通常对我们的理解就是用来做模式匹配的，在数据流里面检测满足规则要求的数据。有人会问为什么需要规则动态变更呢？直接修改了规则把服务重启一下不就可以了吗，这个当然是不行的，规则引擎里面通常会维护很多不同的规则，例如在监控告警的场景下，如果每个人修改一下自己的监控阈值，就重启一下服务，必然会影响其他人的使用，因此需要线上满足规则动态变更加载。本篇基于Flink-Cep 来实现规则动态变更加载，同时参考了Flink中文社区刘博老师的分享(https://develope
基于flink-cdc实现动态规则引擎
qq_42745033的博客
08-25 2235
基于flink-cdc实现动态规则引擎
轻松通关Flink第37讲：自定义 Pattern 和报警规则
sucaiwa的博客
03-29 373
上一课时定义了几个不同的消息源，我们分别根据需求自定义匹配模式。第一个场景，连续登录场景在这个场景中，我们需要找出那些 5 秒钟内连续登录失败的账号，然后禁止用户再次尝试登录需要等待 1 分钟。第二个场景，超时未支付在这个场景中，我们需要找出那些下单后 10 分钟内没有支付的订单。})})第三个场景，找出交易活跃用户在这个场景下，我们需要找出那些 24 小时内至少 5 次有效交易的账户。
Flink任务实时获取并更新规则
woliuqiangdong的博客
10-31 1417
背景 Flink通常被用来处理流式数据，有着众多的应用场景，比方说实时的ETL、检测报警等业务场景。这些场景通常会涉及到规则的更新，比如对解析规则和报警规则进行更改后，流任务应能够实时感知到，并用新的规则继续检测，避免因为规则更改而重启任务造成的开销。一般来说流式任务的重启是比较重的。 方案选择 接下来分别介绍下两种可行的方案与选型 1.广播变量与广播流 广播变量通常被运用到以下场景中：一个流中的一些数据需要被广播到所有的下游任务，被下游任务缓存在本地并用于处理另一个流上的所有传入数据。例如，一个
基于Flinkcep-1.11.2 动态规则修改实践
qq_31866793的博客
12-10 2722
1，事先说明 这个代码搞出来说白了就是在大佬的代码参考下完成的，之前就一直想搞cep规则动态修改，苦于对cep的源码不熟悉，没法下手。 之前有个大佬搞过基于flink-cep 1.8版本的动态规则修改。 后来有个大佬搞过基于flink-cep 1.1.0的。 我看代码的逻辑是后者更复杂，前者更好理解，后者需要修改的地方太多，后来我仔细思考之后发现，还是前者效果更好一些。 因为可以结合配置流，或者数据里面获取新的规则，实现规则的自动更新，后者可能需要定时获取规则比对是否发现修改。 配置流这个目..
【Flink】Flink CEP 案例
九师兄
07-01 1201
1.概述 我们先产生一个输入流，这个输入Event流由Event对象和event time组成 那么要使用EventTime，除了指定TimeCharacteristic外，在Flink中还要assignTimestampsAndWatermarks，其中分别定义了Eventtime和WaterMark， /** * 测试结果： * {start=[Event(id=1, name=start, money=1.0)], middle=[Event(id=5, name=middle,.
flink规则引擎设计思路
帆了个帆的专栏
01-11 3408
在我们的规则引擎里，数据主体通常作为关联数据的主键id，所以在数据预处理阶段，我们需要尽可能的将数据主体梳理全，并补充到数据中。这里就需要介绍下”维度数据“模块。
flink监控告警安装
最新发布
08-29
要安装 Flink 监控告警，您可以按照以下步骤进行操作： 1. 安装 Prometheus：首先您需要安装 Prometheus，它是一个开源的监控系统。您可以从 Prometheus 官方网站下载最新版本的安装包，并按照官方文档进行安装和配置。 2. 配置 Flink：在 Flink 的 conf 文件夹中，找到 flink-conf.yaml 文件，并添加以下配置： ``` metrics.reporters: prom metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter metrics.reporter.prom.port: 9250 ``` 这将启用 Flink 的 Prometheus 监控报告器，并将其绑定到本地的 9250 端口。 3. 启动 Prometheus：使用 Prometheus 的命令行工具启动 Prometheus。您可以通过以下命令在 Prometheus 的安装目录下启动它： ``` ./prometheus --config.file=prometheus.yml ``` 这里的 prometheus.yml 是您的配置文件，您可以根据需要进行相应的配置。 4. 配置 Prometheus 数据源：打开 Prometheus 的配置文件 prometheus.yml，添加以下配置： ``` scrape_configs: - job_name: 'flink' static_configs: - targets: ['localhost:9250'] ``` 这将告诉 Prometheus 去抓取位于本地 9250 端口的 Flink 监控数据。 5. 重启 Flink：重新启动 Flink 集群，使配置生效。 6. 访问 Grafana：打开 Grafana 的 Web 界面，并添加一个新的数据源。选择 Prometheus 作为数据源类型，并配置 Prometheus 的地址。 7. 导入仪表盘：在 Grafana 中导入 Flink 的监控仪表盘。您可以在 Grafana 官方网站或 Flink 社区中找到现成的仪表盘模板，或者自己创建一个仪表盘。 完成上述步骤后，您就可以通过 Grafana 监控和设置告警规则来监控 Flink 集群了。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值