1.为什么要有Flink CEP
- 如果要处理流与流之间的关系,使用DataStream API 去难去定义流之间的匹配规则,但通过Flink CEP就很方便的定义的规则,过滤匹配符合规则的流。
2.什么是Flink CEP
- 定义的一套规则(Patterns),满足规则的流将被输出。类似于正则表达式。
3.Flink CEP 使用步骤
- 定义规则(Pattern)
- 模式应用输出流上
- 检测出匹配序列的结果
DataStream<Event> input =........
// 1.定义规则
Pattern.
<Event>begin("start").where(......)
.next("middle").subtype(SubEvent.class).where(.....)
.followedBy("end").where(......);
// 2.将创建好的Pattern应用到输入事件流上
PatternStream<Event> patternStream=CEP.pattern(input,pattern);
// 3.输出结果
DataStream<Stream> result=patternStream.select(...);
4.定义规则(Pattern)
// 匹配出现4次
start.times(4)
// 匹配出现0次或4次上
start.times(4).optional
// 匹配出现 2 ,3 或4 次
start.times(4)
// 匹配出现0次或4次上
start.times(4).optional
// 匹配出现 2 ,3 或4 次
start.times(2,4).greedy
// 匹配1次或者多次
start.oneOrMore
// 匹配出现0次 2次 或者多次 并且尽可能重复匹配
start.timeOrMore(2).optional.greedy
- 条件的定义: where() or() 和unit() 来指定
- 简单条件:通过 where() 方法对事件中的字段进行判断筛选,决定是否接受该事件
start.where(new SimpleCondition<Event>){
@Override
public boolean filter(Event value) throws Exception{
return value.getName.startsWith("foo");
}
}
-
4.2 规则之间的组合
-
严格近邻
- next():所有事件按照严格的顺序出现 , 中间没有任何不匹配的事件
- notNext():不想让某个事件严格紧邻前一个事件发生
-
宽松近邻
-
followedBy():允许中间有不匹配的事件出现
-
notFollowedBy():不想让某个事件在两个事件之间发生
例如对于模式”a followedBy b”,事件序列 [a, c, b1, b2] 匹配为 {a, b1}
-
-
宽松近邻
- 进一步放宽条件,之前已经匹配过的事件也可以再次使用,由 .followedByAny() 指定
- 例如对于模式”a followedByAny b”,事件序列 [a, c, b1, b2] 匹配为 {a, b1},{a,
b2}
-
需要注意:
-
所有模式序列必须以 .begin() 开始
-
模式序列不能以 .notFollowedBy() 结束
-
“not” 类型的模式不能被 optional 所修饰
-
模式可以指定时间约束,用来要求在多长时间内匹配有效
-
-
5.模式检测
- 指定要查找的模式序列后,就可以将其应用于输入流以检测潜在匹配
- 调用CEP.pattern(),给定输入流和模式 就能得到一个 PatternStream
6.匹配事件提取
-
6.1非超时事件提取
• 创建 PatternStream 之后,就可以应用 select 或者 flatselect 方法,从检测到的事件序列中提取事件
• select() 方法需要输入一个 select function 作为参数,每个成功匹配的事件序 列都会调用它
• select() 以一个 Map<String,List > 来接收匹配到的事件序列,其中 key 就是每个模式的名称,而 value 就是所有接收到的事件的 List 类型
-
6.2 超时事件的提取
• 当一个模式通过 within 关键字定义了检测窗口时间时,部分事件序列可能因为超过窗 口长度而被丢弃;为了能够处理这些超时的部分匹配,select 和 flatSelect API 调用 允许指定超时处理程序
• 超时处理程序会接收到目前为止由模式匹配到的所有事件,由一个 OutputTag 定义 接收到的超时事件序列