Flink CEP

1.为什么要有Flink CEP

• 如果要处理流与流之间的关系，使用DataStream API 去难去定义流之间的匹配规则，但通过Flink CEP就很方便的定义的规则，过滤匹配符合规则的流。
  

2.什么是Flink CEP

• 定义的一套规则(Patterns)，满足规则的流将被输出。类似于正则表达式。

3.Flink CEP 使用步骤

• 定义规则(Pattern)
• 模式应用输出流上
• 检测出匹配序列的结果

DataStream<Event> input =........

// 1.定义规则
Pattern.
        <Event>begin("start").where(......)
       .next("middle").subtype(SubEvent.class).where(.....)
       .followedBy("end").where(......);

// 2.将创建好的Pattern应用到输入事件流上
PatternStream<Event> patternStream=CEP.pattern(input,pattern);


// 3.输出结果
DataStream<Stream> result=patternStream.select(...);
       

4.定义规则(Pattern)

• 4.1定义规则(Pattern)

  • 循环次数的定义

	 // 匹配出现4次
	start.times(4) 
	// 匹配出现0次或4次上
	start.times(4).optional
	// 匹配出现 2 ，3 或4 次
	start.times(4) 
	// 匹配出现0次或4次上
	start.times(4).optional
	// 匹配出现 2 ，3 或4 次
	start.times(2,4).greedy
	// 匹配1次或者多次
	start.oneOrMore
	// 匹配出现0次 2次 或者多次 并且尽可能重复匹配
	start.timeOrMore(2).optional.greedy

• 条件的定义: where() or() 和unit() 来指定
• 简单条件：通过 where() 方法对事件中的字段进行判断筛选，决定是否接受该事件

start.where(new SimpleCondition<Event>){
@Override

public boolean filter(Event value) throws Exception{

return value.getName.startsWith("foo");

	}
}

• 4.2 规则之间的组合

  • 严格近邻

    • next():所有事件按照严格的顺序出现 , 中间没有任何不匹配的事件
    • notNext():不想让某个事件严格紧邻前一个事件发生

  • 宽松近邻

    • followedBy():允许中间有不匹配的事件出现

    • notFollowedBy():不想让某个事件在两个事件之间发生

      例如对于模式”a followedBy b”，事件序列 [a, c, b1, b2] 匹配为 {a, b1}

  • 宽松近邻

    • 进一步放宽条件，之前已经匹配过的事件也可以再次使用，由 .followedByAny() 指定
    • 例如对于模式”a followedByAny b”，事件序列 [a, c, b1, b2] 匹配为 {a, b1}，{a,
      b2}

  • 需要注意：

    • 所有模式序列必须以 .begin() 开始

    • 模式序列不能以 .notFollowedBy() 结束

    • “not” 类型的模式不能被 optional 所修饰

    • 模式可以指定时间约束，用来要求在多长时间内匹配有效
      

5.模式检测

• 指定要查找的模式序列后,就可以将其应用于输入流以检测潜在匹配
• 调用CEP.pattern(),给定输入流和模式 就能得到一个 PatternStream

6.匹配事件提取

• 6.1非超时事件提取

  • 创建 PatternStream 之后，就可以应用 select 或者 flatselect 方法，从检测到的事件序列中提取事件
  • select() 方法需要输入一个 select function 作为参数，每个成功匹配的事件序 列都会调用它
  • select() 以一个 Map<String，List > 来接收匹配到的事件序列，其中 key 就是每个模式的名称，而 value 就是所有接收到的事件的 List 类型
  

• 6.2 超时事件的提取

• 当一个模式通过 within 关键字定义了检测窗口时间时，部分事件序列可能因为超过窗 口长度而被丢弃；为了能够处理这些超时的部分匹配，select 和 flatSelect API 调用 允许指定超时处理程序

• 超时处理程序会接收到目前为止由模式匹配到的所有事件，由一个 OutputTag 定义 接收到的超时事件序列