基于Flink计算引擎的流式处理平台Wormhole—关注低延迟和CEP

导读：继Wormhole的设计思想介绍和功能介绍之后，相信大家对Wormhole已经有了初步的了解。2018年7月31日，我们发布了Wormhole_0.5新版本，与以往基于Spark计算引擎的版本相比，该版本新增了基于Flink计算引擎的流式处理功能，主要关注低延迟和CEP。基于Flink计算引擎版本具体内容是什么呢？还请各位看官移步正文~

---

一、Wormhole Flink版介绍

延迟时间是评判流式处理性能的关键指标之一。Spark 基于弹性分布式数据集（Resilient Distributed Dataset，RDD）进行微批处理，所以Spark在流式处理方面，不可避免会存在一些延时，只支持秒级延迟。Flink基于事件处理，实现了真正的流式计算。与基于Spark的流式处理相比，它的延迟更低。Wormhole通过对Flink计算引擎的支持，将延迟降低到毫秒级。

Wormhole Flink版除了支持Flink SQL，Lookup SQL，新增了对CEP的支持，并且支持三者的混合编排，即一个Flow中可以包含多个Flink SQL，多个Lookup SQL和多个CEP。Flink SQL与Spark SQL用法类似，Spark SQL和Lookup SQL在上一篇Wormhole系列文章中已经介绍过（参考：#Wormhole# 流式处理平台功能介绍），这里将不再赘述，下面我们将重点讲解CEP。

二、CEP（复杂事件处理）简介

在传统DBMS中，所有的操作都只能在数据落库之后才能进行，这极大地降低了事件处理的实时性。与传统DBMS不同，CEP从流式事件中查找匹配指定模式的事件，对流式事件边获取边处理，整个处理过程都在数据流中进行，无需落地，因此它拥有更低的延迟，即所有输入都将被立刻处理，一旦在流式事件中发现了匹配指定模式的事件集，结果就会立即输出。

正因如此，CEP引起了广泛的关注，并得到了大量的应用推广，主要体现在运营和运维两方面。在运营方面，CEP经常被应用于金融产品中，例如，股票市场趋势预测、信用卡诈骗预防等。在运维方面，CEP被用在基于RFID的追踪和监控系统中，例如，检测库房中失窃的物品。当然，CEP也能通过指定嫌疑人的行为，来检测网络入侵。

Wormhole CEP是基于Flink CEP实现的，并且提供了可视化操作界面，无需编码即可快速实现业务需求。Wormhole CEP引入了窗口时间（Window Time），窗口策略（Strategy）