基于Flinkcep-1.11.2 动态规则修改实践

最新推荐文章于 2023-08-05 23:49:48 发布

黄瓜炖啤酒鸭

最新推荐文章于 2023-08-05 23:49:48 发布

阅读量2.7k

点赞数 6

分类专栏： Flink CEP Flink 文章标签： flink cep cep动态修改规则

本文链接：https://blog.csdn.net/qq_31866793/article/details/110948925

版权

本文介绍了如何基于Flink CEP 1.11.2版本实现动态规则修改。作者通过分析源码，提出了一种结合配置流或数据来自动更新规则的方法，强调了前人的工作，并提供了关键步骤，包括下载源码、修改PatternStream、实现CepListener接口、处理SharedBuffer中的状态。文章还提到了Groovy和Aviator的使用，并给出了测试代码示例。

摘要由CSDN通过智能技术生成

1，事先说明

这个代码搞出来说白了就是在大佬的代码参考下完成的，之前就一直想搞 cep规则动态修改，苦于对cep的源码不熟悉，没法下手。

之前有个大佬搞过基于flink-cep 1.8版本的动态规则修改。

后来有个大佬搞过基于flink-cep 1.1.0的。

https://mp.weixin.qq.com/s/mh--wQvAWQq2tDPKq0-m8Q

我看代码的逻辑是后者更复杂，前者更好理解，后者需要修改的地方太多，后来我仔细思考之后发现，还是前者效果更好一些。

因为可以结合配置流，或者数据里面获取新的规则，实现规则的自动更新，后者可能需要定时获取规则比对是否发现修改。

配置流这个目前还没有跟这个代码逻辑整合，不过之前已经做过，很简单的。

2，先整cep，整合源码

这里只讲几个主要的地方跟步骤，毕竟我也只是知道个大概步骤：

1）在github下载源码到idea，只需要下载cep的源码就可以。

https://github.com/apache/flink/tree/master/flink-libraries/flink-cep

2）在本地编译下载依赖之后，我们可以写test类测试，可能1.10之后的版本在这里会运行失败，没关系，放上依赖（就是flink-client依赖）：

 <dependencies>

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-connector-kafka_2.11</artifactId>
   <version>${flink.version}</version>
</dependency>

<dependency>
   <groupId>com.googlecode.aviator</groupId>
   <artifactId>aviator</artifactId>
   <version>5.2.1</version>
</dependency>

<dependency>
   <groupId>org.codehaus.groovy</groupId>
   <artifactId>groovy-all</artifactId>
   <version>${groovy.version}</version>
</dependency>

      <!-- core dependencies -->
<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-clients_2.11</artifactId>
   <version>${project.version}</version>
   <scope>provided</scope>

</dependency>

<dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-core</artifactId>
          <version>${project.version}</version>
          <scope>provided</scope>
      </dependency>

      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-streaming-java_${scala.version}</artifactId>
          <version>${project.version}</version>
          <scope>provided</scope>
      </dependency>

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-shaded-guava</artifactId>
</dependency>

      <!-- test dependencies -->

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-core</artifactId>
   <version>${project.version}</version>
   <type>test-jar</type>
   <scope>test</scope>
</dependency>

      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-test-utils_${scala.version}</artifactId>
          <version>${project.version}</version>
          <scope>test</scope>
      </dependency>

      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-streaming-java_${scala.version}</artifactId>
          <version>${project.version}</version>
          <type>test-jar</type>
          <scope>test</scope>
      </dependency>

     <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-runtime_${scala.version}</artifactId>
          <version>${project.version}</version>
          <type>test-jar</type>
          <scope>test</scope>
      </dependency>


      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-statebackend-rocksdb_${scala.version}</artifactId>
          <version>${project.version}</version>
          <scope>test</scope>
      </dependency>

<dependency>
   <groupId>com.alibaba</groupId>
   <artifactId>fastjson</artifactId>
   <version>1.2.47</version>
</dependency>
<dependency>
   <groupId>com.google.code.gson</groupId>
   <artifactId>gson</artifactId>
   <version>2.8.6</version>
</dependency>


<dependency>
   <groupId>org.scala-lang</groupId>
   <artifactId>scala-library</artifactId>
   <version>2.11.8</version>
</dependency>

  </dependencies>