Flink CEP整理

一、什么是CEP

CEP(Complex Event Processing，复杂事件处理)

复杂事件：多条数据、多个事件（底层原理：状态）

Flink CEP是在Flink中实现的复杂事件处理库，允许在无休止的事件流中检测事件模式

• 目标：从有序的简单事件流中发现一些高阶特征
• 输入：一个或多个由简单事件构成的事件流
• 处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件
• 输出：满足规则的复杂事件

二、Pattern API

Pattern：模式，处理事件的规则

Pattern API：用于对输入流数据进行复杂事件规则定义，用来提取符合规则的事件序列

类型：

• 个体模式（Individual Patterns）：每一个单独的模式定义
• 组合模式/模式序列（Combining Patterns）：多个个体模式的组合
• 模式组（Groups of Patterns）：将一个模式序列作为条件嵌套在个体模式里

三、个体模式

1）单例模式（singleton）

只接收一个事件

条件（Condition）：

• 简单条件（Simple Condition）：通过.where()对事件中的字段进行判断筛选，决定是否接受
• 组合条件（Combining Condition）：合并简单条件，.or()
• 终止条件（Stop Condition）：.until()，如果使用了 oneOrMore 或者 oneOrMore.optional，建议使用 .until() 作为终止条件，以便清理状态
• 迭代条件（Iterative Condition）：.where(new IterativeCondition<Event>() {})，能够对模式之前所有接收的事件进行处理

2）循环模式（looping）

接收多个事件，可以在一个个体模式后追加量词指定循环次数

四、模式序列

1）严格近邻（Strict Contiguity）

所有事件按照严格的顺序出现，中间没有任何不匹配的事件， .next() 指定

例如对于模式”a  next b”，事件序列 [a, c, b1, b2] 没有匹配

2）宽松近邻（ Relaxed Contiguity ）

允许中间出现不匹配的事件 ，.followedBy() 指定

例如对于模式”a followedBy b”，事件序列 [a, c, b1, b2] 匹配为 {a, b1}

3）非确定性宽松近邻（ Non-Deterministic Relaxed Contiguity ）

进一步放宽条件，之前已经匹配过的事件也可以再次使用（不能将开始事件从状态中删除），.followedByAny() 指定

例如对于模式”a followedByAny b”，事件序列 [a, c, b1, b2] 匹配为 {a, b1}，{a, b2}

4）其他（不希望出现某种近邻关系）

.notNext()  —— 不想让某个事件严格紧邻前一个事件发生

.notFollowedBy() —— 不想让某个事件在两个事件之间发生

注意：

• 所有模式序列必须以 .begin() 开始
• 模式序列不能以 .notFollowedBy() 结束（无意义）
• “not” 类型的模式不能被 optional 所修饰
• 可以为模式指定时间约束，用来要求在多长时间内匹配有效，next.within(Time.seconds(n)) 超时事件
• 可操作事件类型：成功事件、超时事件，不可获取事件类型：失败事件

五、匹配事件的提取

模式的检测：指定要查找的模式序列后，就可以将其应用于输入流以检测潜在匹配

调用 CEP.pattern()，给定输入流和模式，就能得到一个 PatternStream

创建 PatternStream 后，就可以应用 select 或者 flatselect 方法，从检测到的事件序列中提取事件

select() 以一个 Map<String，List <IN>> 来接收匹配到的事件序列，其中 String类型的key就是每个模式的名称，而value就是所有接收到的事件的List类型（一个个体模式中可能包含多个事件）

六、超时事件的提取-->侧流OutputTag

当一个模式通过 within 关键字定义了检测窗口时间时，部分事件序列可能因为超过窗口长度而被丢弃，为了能够处理这些超时的部分匹配，select 和 flatSelect API 调用允许指定超时处理程序

超时处理程序会接收到目前为止由模式匹配到的所有事件，由一个 OutputTag 定义接收到的超时事件序列

七、案例测试