基于阿里云MaxCompute实现复杂事件检测

一、需求背景

        

随着信息化的不断发展，业务系统的不断完善，企业面临新的问题：
1、现代工业中的输入事件流数量正成倍地增加，其中包含大量的原子事件，由原子事件构成的复合事件，甚至由复合事件构成的复杂事件。
2、现代工业对于软硬件系统实时响应的要求很高，用户要求系统可以对一些关键的业务输入事件做出即时的响应行为。
3、现代工业生产环境苛刻，一般需要严格的过程控制和安全措施。生产过程包含复杂的物理、化学过程，及各种突变和不确定性因素，当生产中的复杂事件没有被实时检测出来，很有可能造成生产的失败甚至灾难性的后果。

生产环境事件源

二、基于阿里云的解决方案

工业生产环境中，复杂事件具有以下特点：
事件来源众多
信息量大
连续的、流动的
实时识别复杂模式
实时处理

针对以上特点，阿里云已提供众多中间件来满足复杂事件检测的需求：有消息队列、负载均衡、数据存储、实时计算，已初步满足基本事件的处理功能，从大量事件数据流中过滤，分析有意义的事件，并能够实时取得这些有意义的信息的技术ESP，但是并不支持从大量的基本事件中挖掘复杂的模式(CEP)，例如周期性发生的事件、顺序性事件A->B、时间窗口内A OR B发生的事件，基于以上的空白需求，我们实现了基于复杂事件模式识别的中间件产品Blue Event Analytics，结合阿里云已有的中间件，满足复杂事件检测的需求，与阿里云其余中间件结合架构，如下图所示：

阿里云复杂事件检测

2.1 功能架构：

         产品的核心功能应该包含数据集成、事件检测与处理、消息通知、可视化展示几大基本模块，详细功能架构如下：

功能架构

技术架构

2.2  Blue Event Analytics（BEA） 功能特点如下：

完全托管：一种完全托管的服务，它可针对流数据运行查询，无需预置或管理任何基础设施

高性能：单节点每秒处理50万个事件，事件识别延时达到微秒级

分布式检测：自动化弹性扩展，实现分布式事件检测，确保高可用性

事件分析：支持类准SQL的事件查询语言。无需了解复杂的处理框架和编程语言。

集成：与阿里云其他产品如 OSS，MNS，RDS，ONS，MaxCompute等深度整合

按量付费：使用时，只需为所用的处理资源付费。随着输入数据量的变化，将自动扩展或缩减资源，且只需为实际使用的处理资源付费。

       

三、BEA的应用场景

BEA的应用场景十分广泛，主要对应的行业需求场景如下：

行业	处理问题	描述
金融	快速的感知	资本市场中的交易者希望对细微的价格差异做出反应。
	风险控制	在银行领域，风险包括信用风险，市场风险和操作风险。风险控制系统需要监控银行多个业务系统的多个对象和多种数据，按照大量既定的风险控制规则进行对交易行为的判断甄别，发现存在风险的交易行为，及时做出应对措施。
	欺诈发现	包括(1)信用卡欺诈；（2）保险欺诈；（3）洗钱；（4）各种证券交易违规行为。
	算法交易	使用计算机来进行证券交易的行为，系统需要同时监控大量的数据信息，按照若干交易策略，决定何时什么价格买什么品种买多少。  这个也比较适合使用复杂事件处理技术。
连锁故障	连锁故障	电网连锁故障是一系列故障事件的集合最突出的特点是故障事件之间的相关性连锁性和时间  上的先后继起性，基于BEA通过相继故障事件之间存在的时间拓扑和电气的因果及聚合关系 对简单故障事件进行关联和聚合在连锁故障发生初期准确诊断出连锁故障。
	能耗优化	通过复杂的需求响应（DR）解决方案将电网系统运营商和发电企业连接在一起，与能源管理和监控公司签订合同，以提供能源使用负荷削减服务。而这些科技公司正是使用基于CEP应用，与大型的能源消费的商业企业和工业企业合作，来削减能源消耗的需求。
RFID	实时定位系统	实时定位系统(RTLS)使用 RFID 实时定位来识别带有标 签的运动物体，并根据在其位置信息和其他信息做出适当的处理。
	物流	运输和后勤企业利用交通工具实时遥感探测技术来更有效地管理车辆和船舶。
	医疗	RFID 技术和嵌入式设备如生理传感器和环境传感器已经应  用于医疗保健领域，因此，医院需要处理不同来源的大量实时数据，且这些数据的格式与传入速率不同。CEP 可以提供很好的解决方案。
IT基础设施监控	监控	对大规模的企业来说，应用性能的变化直接影响到客户的体验和  满意度。服务突然的中断会影响大量客户的使用，导致业务出现延迟甚至最终给 企业带来重大损失。目前最大的挑战是监控系统获取的数据量大，而且随着环境  和一些不确定因素的影响，问题不断增多，产生的事件种类繁多，因而很难从中 获取关联的重要的复合事件信息 。
个性化服务		根据客户的搜索信息、购买记录和消费行为等各个方面的  信息，在客户进入商家系统的同时，判断此用户的喜好，预测用户的购买行为， 然后展现给用户一个私人订制的个性化界面，上面展示了用户关注的动态、可能  购买的产品、服务的链接等等。

致力攻克企业大数据信息化难题，提供专业服务和解决方案，更多案例可进入官网详细了解：www.blueintelligence.com
文章转载 蓝智云海