案例与解决方案汇总页:
阿里云实时计算产品案例&解决方案汇总
1. 概述
异常检测(anomaly detection)指的是对不符合预期模式或数据集(英语:dataset)中其他项目的项目、事件或观测值的识别。实际应用包括入侵检测、欺诈检测、故障检测、系统健康监测、传感器网络事件检测和生态系统干扰检测等。
之前我曾经介绍过一种异常检测的解决方案《准实时异常检测系统》,但那个架构中Flink主要承担的还是检测后的分析,真正的异常检测被前置到了业务系统中。
在本文中,我将介绍一种直接使用Flink做实时异常检测的方案。
2. 异常检测算法
2.1 异常的种类
异常(离群点)分为三种类型:
- 全局离群点,最基本的异常,即一个单独的远离群体的点;
- 情境(或条件)离群点,该点在全局不算异常,但在某个上下文中却是异常的,比如人的性别为男性不是异常,但如果选定范围为女厕所,那么这个就是异常的;
- 集体离群点,单个点不算异常,但一系列组合起来却是异常。比如偶尔的服务延迟不是异常,但如果整个系统大部分服务都延迟那就是异常。
本