你好,欢迎来到第 35 课时,从这一课时开始我们将进入“Flink CEP 实时预警系统”的学习,本课时先介绍项目的背景、架构设计。
背景
我们在第 11 课时“Flink CEP 复杂事件处理”已经介绍了 Flink CEP 的原理,它是 Flink 提供的复杂事件处理库,也是 Flink 提供的一个非常亮眼的功能,当然更是 Flink 中最难以理解的部分之一。
Complex Event Processing(CEP)允许我们在源源不断的数据中通过自定义的模式(Pattern)检测并且获取需要的数据,还可以对这些数据做对应的处理。Flink 提供了非常丰富的 API 来帮助我们实现非常复杂的模式进行数据匹配。
Flink CEP 应用场景
CEP 在互联网各个行业都有应用,例如金融、物流、电商等行业,具体的作用如下。
实时监控:我们需要在大量的订单交易中发现那些虚假交易,在网站的访问日志中寻找那些使用脚本或者工具“爆破”登录的用户,或者在快递运输中发现那些滞留很久没有签收的包裹等。
风险控制:比如金融行业可以用来进行风险控制和欺诈识别,从交易信息中寻找那些可能存在危险交易和非法交易。
营销广告:跟踪用户的实时行为,指定对应的推广策略进行推送,提高广告的转化率。
当然了,还要很多其他的场景比如智能交通、物联网行业等,可以应用的场景不胜枚举。
Flink CEP 的原理
如果你对 CEP 的理论基础非常感兴趣,推荐一篇论文“Efficient Pattern Matching over Event Streams”。<