基于实时计算（Flink）与高斯模型构建实时异常检测系统

案例与解决方案汇总页：
阿里云实时计算产品案例&解决方案汇总

1. 概述

异常检测（anomaly detection）指的是对不符合预期模式或数据集（英语：dataset）中其他项目的项目、事件或观测值的识别。实际应用包括入侵检测、欺诈检测、故障检测、系统健康监测、传感器网络事件检测和生态系统干扰检测等。

之前我曾经介绍过一种异常检测的解决方案《准实时异常检测系统》，但那个架构中Flink主要承担的还是检测后的分析，真正的异常检测被前置到了业务系统中。

在本文中，我将介绍一种直接使用Flink做实时异常检测的方案。

2. 异常检测算法

2.1 异常的种类

异常（离群点）分为三种类型：

• 全局离群点，最基本的异常，即一个单独的远离群体的点；
• 情境（或条件）离群点，该点在全局不算异常，但在某个上下文中却是异常的，比如人的性别为男性不是异常，但如果选定范围为女厕所，那么这个就是异常的；
• 集体离群点，单个点不算异常，但一系列组合起来却是异常。比如偶尔的服务延迟不是异常，但如果整个系统大部分服务都延迟那就是异常。

本