flink
flink使用
薛定谔的猫1981
技术博客
展开
-
Flink CEP(十一) 案例 对用户登录IP进行检测,检测前后两次ip地址不一致,输出警告信息
对用户登录IP进行检测,检测前后两次ip地址不一致,输出警告信息原创 2024-08-02 22:21:03 · 238 阅读 · 0 评论 -
Flink CEP(十) 案例 对用户登录行为进行检测,检测在2秒内连续登录失败次数10次,输出警告信息
flink cep 案例1原创 2024-08-02 21:09:07 · 144 阅读 · 0 评论 -
Flink CEP(九)之within方法
方法允许用户为模式序列定义一个时间窗口,在这个时间窗口内,如果事件序列满足特定的模式,则被认为是匹配的。如果两次登录失败的事件发生在指定的时间内(比如10秒钟内),则认为这个模式匹配成功。这对于需要实时响应的业务场景尤为重要,比如金融交易监控、网络安全等,其中事件的顺序和时间间隔对业务逻辑的实现有着直接的影响。方法提供了一种灵活的方式来处理实时数据流中的复杂事件,通过设置时间窗口来确保事件序列的匹配在一定的时间范围内完成,从而提高了处理的准确性和实时性。原创 2024-08-01 18:21:17 · 223 阅读 · 0 评论 -
Flink CEP(八)之followedBy方法
是Flink CEP(复杂事件处理)库中的一个关键方法,用于在复杂事件流中查找一个事件跟随另一个事件的模式。注意和next不同的是不必是严格紧贴的。假设我们有一个由用户点击和订单提交组成的事件流,我们想要找到所有的点击事件后紧接着订单提交事件的序列。原创 2024-08-01 15:30:38 · 177 阅读 · 0 评论 -
Flink CEP(六)之oneOrMore方法
在FlinkCEP中,可以使用以下方法指定循环模式:pattern.oneOrMore(),用于期望一个或多个事件发生的模式。原创 2024-08-01 15:10:35 · 279 阅读 · 0 评论 -
Flink CEP(七)之next方法
例如,在直播平台的弹幕监控中,如果想要检测用户从"进入直播间"到"发送弹幕"的事件,可以通过定义一个包含"开始直播"和"发送弹幕"两个状态的模式,并通过设置"next"来确保这两个事件必须连续发生才能触发相应的处理逻辑。在使用Flink CEP时,通过"next"可以指定事件的连续性,确保一系列事件按照特定的顺序和逻辑进行匹配。这种机制允许用户精细地控制事件流的匹配过程,确保只有当特定的事件序列按照正确的顺序出现时,才能触发相应的处理逻辑。原创 2024-08-01 15:23:41 · 174 阅读 · 0 评论 -
Flink CEP(五)之timesOrMore方法
通过 timesOrMore 方法可以指定触发固定次数以上。原创 2024-08-01 15:08:10 · 291 阅读 · 0 评论 -
Flink CEP(四)之times 方法
Flink CEP(Complex Event Processing,复杂事件处理)是Apache Flink提供的一个专门用于处理复杂事件流的库。在Flink CEP中,。方法通常与模式定义一起使用,以指定某个事件应该出现的次数。例如,如果你想要匹配一个事件“a”连续出现4次的模式,你可以使用。方法允许你定义一个模式,该模式期望某个特定事件在事件流中连续出现指定次数。方法是用于指定一个给定事件在模式(Pattern)中应该出现的次数。方法的一些关键点和用法:。原创 2024-08-01 14:24:07 · 219 阅读 · 0 评论 -
Flink CEP(三)之or 方法
方法,可以定义一个模式,该模式在检测到规则ID为43322或43333的登录失败事件时触发。这种方式允许系统更加灵活地应对不同的安全事件,而不需要为每个可能的规则ID都编写单独的匹配逻辑。方法时,可以指定多个条件,只要其中一个条件满足,就可以认为该模式匹配成功。这种方法在需要灵活匹配多种情况时非常有用,可以增加模式的适应性,提高匹配的成功率。例如,假设有一个登录失败的检测模式,其中登录失败的规则ID可以是43322或43333。这意味着,当使用。在Flink CEP中,。原创 2024-08-01 12:36:43 · 329 阅读 · 0 评论 -
Flink-cep(二) 之where方法使用
原始数据"方块1","圆圈2","方块3","方块4","菱形5","圆圈6","菱形7","方块8"导入flink-cep的pom依赖。原创 2024-08-01 11:47:16 · 139 阅读 · 0 评论 -
Flink cep(一)基本介绍使用场景
针对一些价格比较高的商品,当检测到用户下单后超过 30 分钟没有支付,那么该用户很有可能是觉得价格太高,所以一直犹豫要不要支付。当检测到一个达人在完成电商大学学习后,一天内进行了电商开播或者发布了电商短视频等行为,就会对这个达人发放抖 dou+券等仪式奖励,提升整体达人的入驻率,进而给商家提升更加多元的达人选择。帮助商家及时发现爆款商品场景。当检测到某款商品在五分钟内成交超过 1000 单时,会实时将这个商品的名称、品牌、库存等信息推送给商家,以便商家及时补货、直播间挂链接等行为,提升运营效率。原创 2024-07-31 19:53:46 · 237 阅读 · 0 评论 -
Flink之reduce操作
对于ReduceFunction,返回对象的key字段应与输入值匹配,这是因为reduce是可隐式组合的,并且从combine运算符发出的对象在传递给reduce运算符时再次按key分组。例如,在日志分析中,可以使用reduce操作统计某个字段(如IP地址)的出现次数,或者统计某个单词在文本中出现的次数等。它不会改变流的 元素数据类型,所以输出类型和输入类型是一样的。在按照同一个Key分组的数据流上生效,它接受两个输入,生成一个输出,即两两合一地进行汇总操作,生成一个同类型的新元素。原创 2024-08-03 19:02:48 · 456 阅读 · 0 评论 -
Flink之keyBy操作
在Flink中,当我们需要对海量数据进行聚合处理时,通常会先进行分区,以提高处理效率。通过keyBy操作,我们可以根据指定的键将数据流划分为不同的分区,每个分区内的数据将发送到同一个分区进行处理。这种分区的方式是通过计算键的哈希值,并通过对分区数取模运算来实现的。因此,具有相同键的数据会被发送到同一个分区进行处理,从而实现数据的并行聚合。综上所述,Flink中的keyBy操作是数据处理中不可或缺的一步,它通过指定键对数据进行分区,以实现并行处理和聚合操作的高效执行。原创 2024-08-03 17:58:56 · 1258 阅读 · 0 评论 -
Flink之flatMap操作
总之,Flink的flatMap操作是一种强大的数据转换工具,它通过结合扁平化和映射的功能,为用户提供了灵活且高效的数据处理方式,filter算子是过滤筛选,将所有符合判断条件的结果集输出。:在实际应用中,flatMap可以用于各种数据转换任务,如切词、数据拆分、数据清洗等。例如,可以将一个包含多个字段的记录拆分成多个单独的字段进行处理,或者根据特定条件对数据进行过滤和转换。:flatMap允许用户定义一个函数,该函数对输入的每个元素进行处理,并可能产生零个或多个输出。原创 2024-08-03 17:23:28 · 471 阅读 · 0 评论 -
Flink之filter操作
filter()转换需要传入的 参数需要实现 FilterFunction 接口,而 FilterFunction 内要实现 filter()方法,就相当于一个返回 布尔类型的条件表达式。filter()转换操作,顾名思义是对数据流执行一个过滤,通过一个布尔条件表达式设置过滤 条件,对于每一个流内元素进行判断,若为 true 则元素正常输出,若为 false 则元素被过滤掉。实例2,有netcat输入,1,3,5,7,9,偶数输出,奇数不输出。实例3:在netcat中输入数据,zhangsan,m,18。原创 2024-08-03 16:33:44 · 246 阅读 · 0 评论 -
Flink之MAP操作
这意味着,对于输入流中的每个元素,map操作都会生成一个输出元素,这两个元素之间存在一一对应的关系。这种操作非常适合于那些需要对数据进行简单转换的场景,例如,将年龄减去1的操作就可以通过map操作来实现。总的来说,Flink的map操作是一种基础且强大的数据处理工具,它通过提供无状态转换的能力,使得开发者能够轻松地对数据进行转换和处理,无论是简单的数据清洗还是复杂的业务逻辑实现,都能够通过map操作高效地完成。方法来计算字符串的长度,或者通过定义一个简单的函数来将年龄减去1。原创 2024-08-02 23:46:19 · 233 阅读 · 0 评论 -
Flink Source 之数据源
在Apache Flink中,Collection数据源允许用户从一个集合(例如List,Set等)中读取数据作为数据流的源端。这个数据源在Flink程序中用于测试和小规模数据处理。原创 2024-08-02 23:31:30 · 106 阅读 · 0 评论 -
Flink 在centos下的安装及运行实例
flink安装原创 2024-08-03 11:03:33 · 286 阅读 · 0 评论 -
FLINK介绍
Flink的核心是一个提供了数据分发以及并行化计算的流数据处理引擎,其最大亮点是流处理,被认为是业界最顶级的开源流处理引擎。所以说flink是目前最为流行的真正实现流批一体化框架,Spark 和Flink 在流处理上,spark是利用的微批处理模拟流数据,而flink是采用的真正的流数据处理方式,flink是采用流数据模拟批数据处理。项目最初被称为Stratosphere,它的目标是开发一种通用的、可扩展的数据处理引擎,能够同时支持批处理和流处理,并提供高性能、低延迟、容错性和高度灵活的数据处理能力。原创 2024-08-02 23:10:39 · 310 阅读 · 0 评论