Flink的CEP机制实现恶意登录检测

最新推荐文章于 2022-06-11 08:11:33 发布
最新推荐文章于 2022-06-11 08:11:33 发布
阅读量599 收藏 1
点赞数
文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46293354/article/details/110702800
版权
该博客介绍了如何利用Flink的复杂事件处理(CEP)机制来检测恶意登录。首先，阐述了基于登录日志的检测思路，然后详细说明了watermark的处理方式，即设置周期性生成watermark并延迟2秒。接着，定义了匹配模式，即在2秒内连续两次登录失败视为恶意行为，并通过keyby进行用户聚合。最后，博主分享了在实现过程中遇到的错误，主要是由于引入了错误的Java包导致的编译问题。
摘要由CSDN通过智能技术生成

一、思路

使用登录日志文件来进行代码测试，日志格式如下：

//用户id、IP、登录成功或失败、时间戳
76456,110.136.166.128,success,1558430853
8345,46.105.14.53,success,1558430855
76456,110.136.166.128,success,1558430857
76456,110.136.166.128,success,1558430854
76456,110.136.166.128,fail
最低0.47元/天 解锁文章
「已注销」
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink CEP 实现恶意登录检测
congge_study的博客
04-03 7304
Flink CEP 实现恶意登录检测
Flink CEP原理与代码实例讲解
最新发布
AI架构设计之禅
06-18 714
Flink CEP原理与代码实例讲解 1. 背景介绍 在实时数据处理领域，Apache Flink 已经成为了一个重要的开源流处理框架。它不仅提供了高吞吐量、低延迟的数据处理能力，还支持复杂事件处理（Complex Event Processing, CEP），这使得它在金融欺诈检测、
Flink-电商用户行为分析(恶意登录监控-CEP实现)
Knight
07-10 938
数据 链接：https://pan.baidu.com/s/1x1lJ1iuuefTn-tTGC6C3UQ 提取码：iz9n 需求 在 2 秒之内连续两次登录失败 import java.util import org.apache.flink.cep.PatternSelectFunction import org.apache.flink.cep.scala.CEP import org.apache.flink.cep.scala.pattern.Pattern import org.apache.
电商用户行为分析项目 第6节 恶意登录监控CEP实现
weixin_39868387的博客
02-26 281
上篇：电商用户行为分析项目 第5节 恶意登录监控 1、CEP编程 上一节的代码实现中我们可以看到，直接把每次登录失败的数据存起来、设置定时器一段时间后再读取，这种做法尽管简单，但和我们开始的需求还是略有差异的。这种做法只能隔2秒之后去判断一下这期间是否有多次失败登录，而不是在一次登录失败之后、再一次登录失败时就立刻报警。这个需求如果严格实现起来，相当于要判断任意紧邻的事件，是否符合某种模式。这...
Flink CEP 爆破登录
cts618
06-11 308
需求说明：在这个案例中，我们需要找出那些 5 秒钟内连续登录失败的账号，然后禁止用户再次尝试登录需要等待 1 分钟。
基于端口和Flink CEP进行恶意登录监控
yiyiqi123的博客
04-13 516
package commmm import java.util import org.apache.flink.cep.PatternSelectFunction import org.apache.flink.cep.scala.CEP import org.apache.flink.cep.scala.pattern.Pattern import org.apache.flink.stream...
Flink CEP
GavinKai
04-01 573
Flink-CEP 说明： 按修改时间先后倒序排列，最新修改的排在第一行。 版本栏中填入版本编号或者更改记录编号。 状态分为三种状态：A——增加；M——修改；D——删除。 在简要说明栏中填写变更的内容和变更的范围。 表中所有日期格式为：YYYYMMDD。 目 录 第1章 Flink-CEP简介 1.1 前言 1.2 什么是Flink-CEP 1.3 Flink-CEP使用场景 1.4 Flink-CEP基本概念 第2章 Flink CEP原理 2.1...
flink_01
qq_43027968的博客
05-05 644
尚硅谷大数据项目之Flink (作者：尚硅谷大数据研发部) 版本：V1.12.0 Flink简介 初识Flink Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员，2014年12月，Flink一跃成为Apache软件基金会的顶级项目。 在德语中，F
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 - 3
MiaoSO的博客
08-24 954
附.项目实战 1. 项目整体介绍 1.1 电商用户行为分析 1.2 项目模块设计 2. 实时热门商品统计 3. 实时流量统计 3.1 PVTopN - 热点网站 3.2 PV - 网站总浏览量 3.3 UV - 网站独立访客数 4. 市场营销商业指标统计分析 4.1 APP 市场推广统计 4.2 页面广告分析 5. 恶意登陆监控 5.1 Demo 5.2 CEP 6. 订单支付实时监控 6.1 付款超时 - Cep Code 6.2 付款超时 - Without Cep 6.3.
基于flink的电商用户行为数据分析
03-21
该项目是基于于flink的电商用户行为数据分析的flink项目，模块划为为：从项目介绍与代码框架、实时热门商品统计、替换kafka源、实时流量统计、恶意登录检测、恶意登录监控CEP实现、订单支付监控CEP实现
Flink_恶意登录监控 (利用CEP)
qq_36213530的博客
09-05 978
对于网站而言，用户登录并不是频繁的业务操作。如果一个用户短时间内频繁登录失败，就有可能是出现了程序的恶意攻击，比如密码暴力破解。因此我们考虑， 应该对用户的登录失败动作进行统计，具体来说，如果同一用户（可以是不同 IP） 在 2 秒之内连续两次登录失败，就认为存在恶意登录的风险，输出相关的信息进行报警提示。这是电商网站、也是几乎所有网站风控的基本一环。 会用到 flink 的 CEP 库来实现事件流 ，方法三：利用CEP是重点方法。 pom 文件中引入 CEP 的相关依赖：...
异常检测系统设计
chanleoo的博客
12-15 408
从互斥面做算法，好的情况知道，坏的情况无限的情况下，可以做个相对来说可以包含好的情况数据集的算法，测到好的，就表示不坏；做不到测到坏的数据集 相反，若数据集一半好一半坏， ...
基于 Flink 的超大规模在线实时反欺诈系统的建设与实践
乔治大哥的博客
02-29 1068
在大数据时代，金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中，某些中介机构会搜集大量的号并进行“养号”工作，即在一年周期里让这些号形成正常的消费、通讯记录，目的是将这些号“培养”得非常健康，然后卖给有欺诈意向的用户。这类用户通过网上信息提交审核，骗到贷款后就“销声匿迹”了。 那么，如何更快速地预防或甄别可能的欺诈行为？如何从超大规模、高并发、多维度的数据中实现在线实时反欺...
Flink CEP实现抢购黑名单需求实战
u010585659的博客
12-04 510
最近有个抢购黑名单的需求，产品为了增加对黄牛党的限制，想要在抢购活动期间能对潜在黄牛党进行干扰，从而保障普通用户的权益。于是我想到了适合实时风控场景的Flink CEP技术。 通过对Flink官方文档的学习，我自己根据黑名单需求写了个Demo。 黑名单需求简化后如下： 在抢购活动前后，实时向后端系统反馈异常访问/购买的用户名单信息，具体实现逻辑是，BY渠道BY用户BY指定的URL统计用户访问指定URL的次数，选取访问次数>设定阈值的用户，并统计出这些用户访问指定URL时的IP切换次数。 主要De
基于 flink 的电商用户行为数据分析【9】| 电商常见指标汇总 + 项目总结
大数据梦想家
12-17 6661
        本篇是flink 的「电商用户行为数据分析」的第 9 篇文章，也是该系列的最后一篇，为大家带来电商常见的指标汇总和对前8篇文章做一个的阶段性的总结，并融入一些我自己的思考，希望大家能够从中受益，感谢阅读！ 电商指标整理 有关"人"的指标 客服 指标名词 名词解释 询单量 下单前来询问客服的客户总数 询单转换率 （转化率= 成单数/来访量转化率）影响的因素有：宝贝描述（宝贝图片优化和描
Flink_CEP关于订单超时事件处理
weixin_43003792的博客
04-14 738
package com import java.util import org.apache.flink.cep.{PatternSelectFunction, PatternTimeoutFunction} import org.apache.flink.cep.scala.{CEP, PatternStream} import org.apache.flink.cep.scala.pattern.Pattern import org.apache.flink.streaming.api.TimeChar
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值