一个Flink-Cep使用案例

已于 2022-03-12 13:15:35 修改
阅读量1.1k 收藏 3
点赞数
分类专栏： Flink系统性学习专栏 文章标签： flink big data 爬虫
于 2021-08-29 11:39:36 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/119978642
版权
本文通过一个案例展示了如何使用Flink-Cep、Groovy和Aviator实现物联网监控规则。Flink-Cep用于复杂事件处理，Groovy动态生成Pattern，Aviator执行条件表达式。案例中，当设备连续三个点的值大于10且求和大于100时触发告警。此外，讨论了动态规则变更的需求和实现策略。
摘要由CSDN通过智能技术生成

《2021年最新版大数据面试题全面开启更新》

本篇主要演练使用Flink-Cep+Groovy+Aviator 来实现一个物联网监控规则中的一个场景案例，后续将会介绍如何实现规则动态变更。

技术背景简介

Flink-Cep 是flink中的高级library，用于进行复杂事件处理，例如某一类事件连续出现三次就触发告警，可以类比Siddhi、Esper；

Groovy 是一种动态脚本语言，可以让用户输入代码变成后台可执行代码，像刷题网站leetcode 应该就是用了这么类似的一个东西；

Aviator 用于执行求值表达式，例如求1>2的值，得到true，为什么用这个东西，也跟后续动态规则变更相关，接下来的案例也会具体介绍。

案例分析

物联网通常都是设备数据，比喻说设备的温度、耗电量等等，会有对设备的监控，例如求设备连续三个点的值大于10且三个点的求和值大于100，要求将这三个点发送到下游进行处理，首先看一下直接使用Flink-Cep api的实现：


                

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  王知无(import_bigdata)
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
【Flink】Flink CEP 案例

				
			

			

				

					九师兄
				

				

					07-01
					
					581
					
				

			

		

		

			
				
1.案例
我们先产生一个输入流，这个输入Event流由Event对象和event time组成，那么要使用EventTime，除了指定TimeCharacteristic外，在Flink中还要assignTimestampsAndWatermarks，其中分别定义了Eventtime和WaterMark，
  /**
     * 测试结果：
     * {start=[Event(id=1, name=start, money=1.0)], middle=[Event(id=5, name=middl.

			
		

	



                

              
                



	

		

			

				
					
flink CEP示例

				
			

			

				

					a3125504x的博客
				

				

					10-01
					
					1032
					
				

			

		

		

			
				
CEP示例三分钟时间内，出现三次及以上的温度高于40度就算作是异常温度，进行报警输出创建订单之后15分钟之内一定要付款，否则就取消订单
三分钟时间内，出现三次及以上的温度高于40度就算作是异常温度，进行报警输出


场景介绍

现在工厂当中有大量的传感设备，用于检测机器当中的各种指标数据，例如温度，湿度，气压等，并实时上报数据到数据中心，现在需要检测，某一个传感器上报的温度数据是否发生异常。



异常的定义

三分钟时间内，出现三次及以上的温度高于40度就算作是异常温度，进行报警输出




测试数据



			
		

	



                


  
              

                


	

		

			

				
					
探索flink-siddhi：高效整合Apache Flink与Siddhi CEP的开源利器

					
最新发布

				
			

			

				

					gitblog_00095的博客
				

				

					08-18
					
					374
					
				

			

		

		

			
				
探索flink-siddhi：高效整合Apache Flink与Siddhi CEP的开源利器
 flink-siddhiA CEP library to run Siddhi within Apache Flink™ Streaming Application项目地址:https://gitcode.com/gh_mirrors/fl/flink-siddhi 在当今数据驱动的世界中，复杂事件处...

			
		

	





	

		

			

				
					
Flink CEP 示例（可运行）

				
			

			

				

					swing2008的专栏
				

				

					02-25
					
					1157
					
				

			

		

		

			
				
package com.cep

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.cep.PatternSelectFunction
import org.apache.flink.cep.pattern.conditions.SimpleCondition
import org.apache.flink.cep.scala.pattern.Pattern
import .

			
		

	



		

			
		



	

		

			

				
					
Flink_CEP 功能和简单案例

				
			

			

				

					weixin_45417821的博客
				

				

					03-15
					
					685
					
				

			

		

		

			
				
文章目录FlinkCEP——Flink的复杂事件处理FlinkCEP 简单流程Pattern API个体模式(Individual Patterns)量词条件模式组(Groups of Patterns)近邻引入
FlinkCEP——Flink的复杂事件处理
FlinkCEP是在Flink之上实现的复杂事件处理 （CEP）库。它使您可以检查无穷无尽的事件流的事件模型，从而使您有机会掌握数据中的重要信息
FlinkCEP 简单流程
DataStream<Event> input = ...

Pa

			
		

	





	

		

			

				
					
flink-CEP(超级详细)

				
			

			

				

					互联网知识分享
				

				

					05-20
					
					136
					
				

			

		

		

			
				
而CEP只要水位线就可以，窗口的话可带可不带, 只要单独设置了水位线(或事件时间升序，或事件时间乱序，都会有水位线的效果)，而且它处理较为严重的乱序事件，可以说功能很强大。当且仅当数据为a,c,b,b时，对于followedBy模式而言命中的为{a,b}，对于followedByAny而言会有两次命中{a,b},{a,b}（1）还是一样，没有设置窗口，但设置的事件时间是升序的，其实就是当前时间戳为水位线，跟延迟1s是一个意思。当且仅当数据为a,b或者为a,c,b，，模式均被命中，中间的c会被忽略掉。

			
		

	





	

		

			

				
					
Flink-cep 动态改变规则案例

				
			

			

				

					qq_31866793的博客
				

				

					10-31
					
					1万+
					
				

			

		

		

			
				
地址：https://github.com/ljygz/Flink-CEPplus/tree/master/

地址：https://github.com/ljygz/Flink-CEPplus/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/exampl...

			
		

	





	

		

			

				
					
Flink CEP原理与代码实例讲解

				
			

			

				

					AI架构设计之禅
				

				

					06-03
					
					514
					
				

			

		

		

			
				
Flink CEP原理与代码实例讲解
1.背景介绍
在当今时代,随着数据量的快速增长和实时处理需求的不断提高,传统的批处理系统已经无法满足现代应用的需求。因此,流式计算(Stream Processing)应运而生,成为了大数据处理领域的一个重要分支。Apache Flink作为一个开源

			
		

	





	

		

			

				
					
FlinkCEP - Flink的复杂事件处理 - 简单案例

				
			

			

				

					京河小蚁的博客
				

				

					06-18
					
					494
					
				

			

		

		

			
				
下面两个pattern：
1. 5s内点击浏览了商品3次
2. 3秒内先点击浏览商品，然后将商品加入收藏

 更多关于flink cep内容请移步到https://github.com/DeveloperZJQ/learning-flink/blob/master/flink-learning-base/src/main/java/com/flink/cep/CEPDemo1.java.........

			
		

	





	

		

			

				
					
【Flink】 CEP 简单例子

				
			

			

				

					一杯咖啡半杯糖的博客
				

				

					03-31
					
					1369
					
				

			

		

		

			
				
1、引入依赖（注意版本要和flink版本一致，例子暂用1.12版本）



<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-cep_2.11</artifactId>
    <version>1.12.7</version>
</dependency>


2、定义传递类



package com.test

			
		

	





	

		

			

				
					
Flink之CEP案例分析-网络攻击检测

					
热门推荐

				
			

			

				

					VinoYang的专栏
				

				

					03-01
					
					1万+
					
				

			

		

		

			
				
上一篇我们介绍了Flink CEP的API，这一篇我们将以结合一个案例来练习使用CEP的API编写应用程序，以强化对API的理解。所选取的案例是对网络遭受的潜在攻击进行检测并给出告警。当下互联网安全形势仍然严峻，网络攻击屡见不鲜且花样众多，这里我们以DDOS（分布式拒绝服务攻击）产生的流入流量来作为遭受攻击的判断依据。

			
		

	





	

		

			

				
					
Flink CEP结合案例详解

				
			

			

				

					一个数据小开发的博客
				

				

					02-19
					
					2860
					
				

			

		

		

			
				
1、介绍

FlinkCEP是在Flink之上实现的复杂事件处理(CEP)库。它允许您在无穷无尽的事件流中检测事件模式，使您有机会掌握数据中重要的内容。通常会用来做一些用户操作APP的日志风控策略等多种复杂事件，下面详细以用户连续10s内登陆失败超过3次告警为需求，进行全面讲解。

1.1、整体需求数据详解图






...

			
		

	





	

		

			

				
					
Flink的CEP使用流程+使用案例

				
			

			

				

					haibucuoba的博客
				

				

					07-23
					
					6217
					
				

			

		

		

			
				
一、CEP



 一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。

CEP支持在流上进行模式匹配，根据模式的条件不同，分为连续的条件或不连续的条件；模式的条件允许有时间的限制，当在条件范围内没有达到满足的条件时，会导致模式匹配超时。

、

CEP就相当于在流上对event进行模式匹配。比如 连续两条登录失败日志不超过2秒，则进行错误预...

			
		

	





	

		

			

				
					
Flink CEP 订单案例

				
			

			

				

					qq_31866793的博客
				

				

					08-29
					
					1099
					
				

			

		

		

			
				
1，下面代码要注意的点：

1）函数可能会报错，需要引入scala Map

2）以为我们的条件是next 严格相邻，所以第一条数据会被过滤掉不满足条件，它不会出现在测流，就是被过滤掉了，如果想要测流拿到不满足的数据，正常应该用followBy或者其他模式;





2，具体代码



package com.coder.flink.core.a_bilibili

import org....

			
		

	





	

		

			

				
					
Flink CEP demo 实战

				
			

			

				

					lvwenyuan_1的博客
				

				

					06-21
					
					2927
					
				

			

		

		

			
				
简介

   flink cep 是flink的复杂处理库。主要用来筛选，流式数据中，符合条件的某个系列动作。譬如筛选出连续的告警，或者是用户生成订单后，规定时间内没有完成支付等。

   一般cep都用于KeyedStream。

一般开发流程

生成一个datastream或者KeyedStream
	定义一组规则
	将这组规则应用于流，生成PatternStream
	将生成...

			
		

	





	

		

			

				
					
Flink CEP基础学习与使用04----实际业务场景开发案例demo

				
			

			

				

					qq_31866793的博客
				

				

					07-02
					
					1325
					
				

			

		

		

			
				
目标：针对日志，做场景匹配demo，这个demo先发出来吧，感觉乱七八糟的，等过一段时间再思考一下怎么写，这个写的太乱了


import com.alibaba.fastjson.{JSON, JSONObject}
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flin...

			
		

	





	

		

			

				
					
flink cep案例

				
			

			

				

					07-29
				

			

		

		

			
				
Flink CEP案例通常包括以下几个步骤：  1. **事件流处理**：首先，Flink从源头收集数据流，如Kafka、HTTP请求或数据库查询结果。  2. **窗口定义**：设置时间窗口，比如滑动窗口或 tumbling 窗口，以便在特定时间段...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
王知无(import_bigdata)

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值