Flink大数据实时计算系列-案例初体验：LoginFailDetectWarning

最新推荐文章于 2023-09-17 18:46:38 发布
最新推荐文章于 2023-09-17 18:46:38 发布
阅读量222 收藏 1
点赞数
分类专栏： 人工智能NLP、计算机视觉及大数据Flink技术
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/115347467
版权
本文介绍了使用Flink进行大数据实时计算的一个实例——LoginFailDetectWarning。通过处理数据源文件，实现恶意登录检测功能，利用自定义处理函数检测连续登录失败事件，并展示了运行结果。
摘要由CSDN通过智能技术生成

Flink大数据实时计算系列-案例初体验：LoginFailDetectWarning

数据源文件

5402,83.149.11.115,success,1558430815
23064,66.249.3.15,fail,1558430826
了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
Flink大数据实时计算系列-案例初体验：WordCount
段智华的博客
03-05 417
Flink大数据实时计算系列-案例初体验：WordCount 目录 Wordcountpom文件配置netcat 工具运行结果 Wordcount flink wordcount代码 package lesson01; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.configuratio
【flink】连续登陆失败两次检测
qq_37023928的博客
02-03 543
package com.atguigu.loginfail_detect;/** * Copyright (c) 2018-2028 尚硅谷 All Rights Reserved * <p> * Project: UserBehaviorAnalysis * Package: com.atguigu.loginfail_detect * Version: 1.0 * <p> * Created by wushengran on 2020/11/17 14:02 */
Flink_基于状态编程关于连续登录失败的过滤
weixin_43003792的博客
04-09 156
package com.loginfail import java.util import org.apache.flink.api.common.state.{ListState, ListStateDescriptor, ValueState, ValueStateDescriptor} import org.apache.flink.shaded.netty4.io.netty.handler.codec.http2.Http2Exception.StreamException import org.
Flink-java 状态机实现连续三次登陆失败
m0_48379126的博客
01-05 390
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.state.ValueState; import org.apache.flink.api.common.state.ValueStateDescriptor;.
Flink 实时计算 - 词频统计初体验
xmz84820的博客
05-11 1951
第1关：Flink初体验 步骤如下： 1.开启两个命令行，一个命令行（A）执行：nc -lk 9000,另一个命令行(B) 提交 Flink 程序 2.在命令行（B）中提交 Flink 程序 进入到 /dataxx/workspace/myshixun_xxxxx/fpst4vko 目录下（注意：dataxx目录 xx 代表数字，请以命令行为主,myshixun_xxxx 目录是跟用户相关的，也就是说不同的用户，该目录的名称不一样，但是规则为 myshixun_xxxxx ，所以请以命令行为主，以上只是作
Flink大数据实时计算系列-案例初体验：OrderTimeoutWithoutCep
段智华的博客
04-08 423
Flink大数据实时计算系列-案例初体验：OrderTimeoutWithoutCep processElement示意图 代码 package com.atguigu.orderpay_detect;/** * Copyright (c) 2018-2028 尚硅谷 All Rights Reserved * <p> * Project: UserBehaviorAnalysis * Package: com.atguigu.orderpay_detect * Version: 1
Flink大数据实时计算系列-Flink的windowsAll用法
段智华的博客
07-07 1431
Flink大数据实时计算系列-Flink的windowsAll用法 Flink的windowsAll用法 countWindowAll package com.flinkniu.flink.windows; import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink.api.java.functions.KeySelector; import org.apache.flink.api.java.t
Flink大数据实时计算系列-案例初体验：TxPayMatchByJoin
段智华的博客
04-12 218
Flink大数据实时计算系列-案例初体验：TxPayMatchByJoin 数据源 OrderLog.csv 34749,pay,324n0239,1558430916 34755,pay,8x0zvy8w3,1558430918 34758,create,,1558430921 34759,create,,1558430922 34752,pay,rnp435rk,1558430925 34760,create,,1558430926 34761,create,,1558430927 34762,crea
Flink大数据实时计算系列-入门案例： Flink-DataStream-API-实现WordCount
段智华的博客
04-26 282
Flink大数据实时计算系列-入门案例： Flink-DataStream-API-实现WordCount 使用DataStream实现批处理 使用DataStream实现流处理 使用DataStream根据数据源自动选择使用流还是批 package cn.itcast.hello; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.FlatMapF
Flink大数据实时计算系列-案例初体验：计算实时热门商品
段智华的博客
03-04 476
Flink 案例初体验：计算实时热门商品 基于 EventTime 处理， 配置Watermark 使用 Flink 灵活的 Window API 使用 ProcessFunction 实现 TopN 功能 目录 数据源Flink案例代码运行结果 数据源 列名称 说明 用户编码 整数类型，加密后的用户编码 商品编码 整数类型，加密后的商品编码 商品类目编码 整数类型，加密后的商品所属类目编码 行为类型 字符串，枚举类型，包括(‘pv’, ‘buy’, ‘cart’, ‘fav’) 时间戳 行为发生的时
第一个Flink程序 词频统计
技术札记
06-21 934
maven创建 Flink 应用程序，通过端口获取实时输入的字符串，利用Flink统计单词频率并打印出来 public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironme...
Flink大数据实时计算系列-案例初体验：AppMarketingByChannel
段智华的博客
03-18 271
Flink大数据实时计算系列-案例初体验：AppMarketingByChannel 生成模拟数据 MarketingUserBehavior{userId=3706363402265820302, behavior='INSTALL', channel='weibo', timestamp=1616042603882} MarketingUserBehavior{userId=225582473088922103, behavior='DOWNLOAD', channel='app store', tim
大数据-玩转数据-Flink恶意登录监控
最新发布
s_unbo的博客
09-17 470
因此我们考虑，应该对用户的登录失败动作进行统计，具体来说，如果同一用户（可以是不同IP）在2秒之内连续两次登录失败，就认为存在恶意登录的风险，输出相关的信息进行报警提示。这是电商网站、也是几乎所有网站风控的基本一环。对于网站而言，用户登录并不是频繁的业务操作。如果一个用户短时间内频繁登录失败，就有可能是出现了程序的恶意攻击，比如密码暴力破解。
大数据时代，Flink是如何屹立于时代潮头的？你都了解Flink多少呢？
程序员小灰的博客
07-07 612
Flink 因天然流式计算特性及强大处理性能，成为炙手可热的大数据处理框架，在 BAT、头条、顺丰等国内头部公司都有其相关应用。眼下，Flink 可以说是DT 时代程序员的加分项，更是...
Flink_恶意登录监控 (利用CEP)
qq_36213530的博客
09-05 983
对于网站而言，用户登录并不是频繁的业务操作。如果一个用户短时间内频繁登录失败，就有可能是出现了程序的恶意攻击，比如密码暴力破解。因此我们考虑， 应该对用户的登录失败动作进行统计，具体来说，如果同一用户（可以是不同 IP） 在 2 秒之内连续两次登录失败，就认为存在恶意登录的风险，输出相关的信息进行报警提示。这是电商网站、也是几乎所有网站风控的基本一环。 会用到 flink 的 CEP 库来实现事件流 ，方法三：利用CEP是重点方法。 pom 文件中引入 CEP 的相关依赖：...
电商用户行为分析项目 第6节 恶意登录监控CEP实现
weixin_39868387的博客
02-26 281
上篇：电商用户行为分析项目 第5节 恶意登录监控 1、CEP编程 上一节的代码实现中我们可以看到，直接把每次登录失败的数据存起来、设置定时器一段时间后再读取，这种做法尽管简单，但和我们开始的需求还是略有差异的。这种做法只能隔2秒之后去判断一下这期间是否有多次失败登录，而不是在一次登录失败之后、再一次登录失败时就立刻报警。这个需求如果严格实现起来，相当于要判断任意紧邻的事件，是否符合某种模式。这...
Flink - CEP 实时分用户析攻击行为
多一份贡献,多一份环保
11-19 5041
在这样一种场景，用户的登录行为数据都会以LoginEvent的行式记录下来，每次失败或者成功以及错误都会记录下来，一般客户端都会进行检验，正常的用户不可能在一秒钟之内登录错误多次，这时候我就得怀疑这部分数据是不是机器对用户的密码进行暴力破解，如果有需要我们得将这些攻击IP进行封锁。 Flink - CEP 优点 复杂性：多个流join，窗口聚合，事件序列或patterns检测 低延迟：秒或毫秒...
Flink 流处理api之transform算子
weixin_45781143的博客
07-13 195
欢迎关注我的个人博客学习更多知识 transform 作用：将Soure数据（源数据）进行转换计算为需要的数据 常用函数 map map算子和python中的map类似，python中是把数据转换为lambda表达式中的数据，而flink中的map更广泛一些，通过new一个 Mapfunction，自定义map()方法规定转换流程， 把一个数据类型（input）转换为另一个数据类型（output） 格式如下 dataStream.map(new Mapfunction<input,output>
探索Flink：大数据实时计算引擎的全能王者
本文深入探讨了大数据实时计算引擎Flink的发展历程及其在大数据计算领域的重要地位。首先，文章回顾了大数据计算框架的发展阶段，将Hadoop的MapReduce作为第一代，强调了Tez和Oozie等支持DAG的批处理引擎代表的第二...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值