基于Flinkcep-1.11.2 动态规则修改实践

1,事先说明

这个代码搞出来说白了就是在大佬的代码参考下完成的,之前就一直想搞 cep规则动态修改,苦于对cep的源码不熟悉,没法下手。

之前有个大佬搞过 基于flink-cep 1.8版本的动态规则修改。

后来有个大佬搞过基于flink-cep 1.1.0的。

https://mp.weixin.qq.com/s/mh--wQvAWQq2tDPKq0-m8Q 

我看代码的逻辑是后者更复杂,前者更好理解,后者需要修改的地方太多,后来我仔细思考之后发现,还是前者效果更好一些。

因为可以结合配置流,或者数据里面获取新的规则,实现规则的自动更新,后者可能需要定时获取规则比对是否发现修改。

配置流这个目前还没有跟这个代码逻辑整合,不过之前已经做过,很简单的。

2,先整cep,整合源码

   这里只讲几个主要的地方跟步骤,毕竟我也只是知道个大概步骤:

  1) 在github下载源码到idea,只需要下载cep的源码就可以 。

        https://github.com/apache/flink/tree/master/flink-libraries/flink-cep

  2)在本地编译下载依赖之后,我们可以写test类测试,可能1.10之后的版本在这里会运行失败,没关系,放上依赖(就是flink-client依赖):

 <dependencies>

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-connector-kafka_2.11</artifactId>
   <version>${flink.version}</version>
</dependency>

<dependency>
   <groupId>com.googlecode.aviator</groupId>
   <artifactId>aviator</artifactId>
   <version>5.2.1</version>
</dependency>

<dependency>
   <groupId>org.codehaus.groovy</groupId>
   <artifactId>groovy-all</artifactId>
   <version>${groovy.version}</version>
</dependency>

      <!-- core dependencies -->
<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-clients_2.11</artifactId>
   <version>${project.version}</version>
   <scope>provided</scope>

</dependency>

<dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-core</artifactId>
          <version>${project.version}</version>
          <scope>provided</scope>
      </dependency>

      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-streaming-java_${scala.version}</artifactId>
          <version>${project.version}</version>
          <scope>provided</scope>
      </dependency>

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-shaded-guava</artifactId>
</dependency>

      <!-- test dependencies -->

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-core</artifactId>
   <version>${project.version}</version>
   <type>test-jar</type>
   <scope>test</scope>
</dependency>

      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-test-utils_${scala.version}</artifactId>
          <version>${project.version}</version>
          <scope>test</scope>
      </dependency>

      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-streaming-java_${scala.version}</artifactId>
          <version>${project.version}</version>
          <type>test-jar</type>
          <scope>test</scope>
      </dependency>

     <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-runtime_${scala.version}</artifactId>
          <version>${project.version}</version>
          <type>test-jar</type>
          <scope>test</scope>
      </dependency>


      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-statebackend-rocksdb_${scala.version}</artifactId>
          <version>${project.version}</version>
          <scope>test</scope>
      </dependency>

<dependency>
   <groupId>com.alibaba</groupId>
   <artifactId>fastjson</artifactId>
   <version>1.2.47</version>
</dependency>
<dependency>
   <groupId>com.google.code.gson</groupId>
   <artifactId>gson</artifactId>
   <version>2.8.6</version>
</dependency>


<dependency>
   <groupId>org.scala-lang</groupId>
   <artifactId>scala-library</artifactId>
   <version>2.11.8</version>
</dependency>

  </dependencies>
  • 6
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Flink CEP (Complex Event Processing) 是 Flink 中的一个模块,它允许用户从无限的数据流中提取符合一定的规则的事件序列。Flink CEP 可以用于实时数据分析、复杂事件处理和模式匹配等场景。 Flink CEP 的 SQL API 可以使用标准 SQL 语句来定义模式和规则,并从数据流中提取符合规则的事件序列。下面是 Flink CEP SQL 的详解: 1. 安装 Flink CEP 要使用 Flink CEP SQL,首先需要安装 Flink CEP。可以通过以下命令安装: ``` ./bin/flink-cdc.sh --name flink-cep --version 1.11.2 --enable-cep ``` 2. 创建数据流表 要在 Flink CEP 中使用 SQL,需要先创建一个数据流表。可以使用以下命令来创建一个数据流表: ``` CREATE TABLE myStream ( event_id INT, event_type STRING, event_time TIMESTAMP(3), event_value DOUBLE, WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND ) WITH ( 'connector.type' = 'kafka', 'connector.version' = 'universal', 'connector.topic' = 'myTopic', 'connector.properties.zookeeper.connect' = 'localhost:2181', 'connector.properties.bootstrap.servers' = 'localhost:9092', 'connector.startup-mode' = 'earliest-offset', 'format.type' = 'json' ); ``` 在上面的命令中,我们使用 Kafka 作为数据源,并创建了一个名为 `myStream` 的数据流表。该表包含四个字段:`event_id`、`event_type`、`event_time` 和 `event_value`。`WATERMARK` 是用于定义事件时间的。在 Flink CEP 中,事件时间是用于确定事件发生的时间,而不是处理事件的时间。 3. 定义模式和规则 有了数据流表之后,我们就可以定义模式和规则了。在 Flink CEP SQL 中,可以使用 `PATTERN` 关键字来定义模式,使用 `DEFINE` 关键字来定义规则。 以下是一个简单的例子,它定义了一个模式和一个规则,以从数据流中提取所有事件类型为 `A`,并在这些事件之后发生事件类型为 `B` 的事件序列: ``` SELECT * FROM myStream MATCH_RECOGNIZE ( PARTITION BY event_type ORDER BY event_time MEASURES A.event_time AS start_time, B.event_time AS end_time ONE ROW PER MATCH PATTERN (A B) DEFINE A AS A.event_type = 'A', B AS B.event_type = 'B' ) MR; ``` 在上面的语句中,`PARTITION BY` 关键字用于指定按 `event_type` 字段分区,`ORDER BY` 关键字用于按 `event_time` 字段排序,`PATTERN` 关键字用于定义模式,`DEFINE` 关键字用于定义规则。 4. 执行查询 定义了模式和规则之后,我们可以执行查询来从数据流中提取符合规则的事件序列。可以使用以下命令来执行查询: ``` TableResult result = tableEnv.executeSql("SELECT ..."); ``` 在上面的命令中,`TableResult` 包含从数据流中提取的所有事件序列。可以使用 `TableResult.print()` 方法来打印结果。 总之,Flink CEP SQL 是一个强大的工具,可以用于实时数据分析、复杂事件处理和模式匹配等场景。它提供了一个简单的 API,可以使用标准 SQL 语句来定义模式和规则,并从数据流中提取符合规则的事件序列。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值