n维正态分布概率密度_异常检测的N种方法，阿里工程师都盘出来了

阿里妹导读：互联网黑产盛行，其作弊手段层出不穷，导致广告效果降低，APP推广成本暴增。精准识别作弊是互联网公司和广告主的殷切期望。今天我们将从时间序列、统计、距离、线性方法、分布、树、图、行为序列、有监督机器学习和深度学习模型等多个角度探讨异常检测。

作者 | 黎伟斌、胡熠、王皓

背景

异常点检测(Outlier detection)，又称为离群点检测，是找出与预期对象的行为差异较大的对象的一个检测过程。这些被检测出的对象被称为异常点或者离群点。异常点检测在生产生活中有着广泛应用，比如信用卡反欺诈、工业损毁检测、广告点击反作弊等。

异常点(outlier)是一个数据对象，它明显不同于其他的数据对象。如下图1所示，N1、N2区域内的点是正常数据。而离N1、N2较远的O1、O2、O3区域内的点是异常点。

图1.异常点示例

异常检测的一大难点是缺少ground truth。常见的方法是先用无监督方法挖掘异常样本，再用有监督模型融合多个特征挖掘更多作弊。

近期使用多种算法挖掘异常点，下面从不同视角介绍异常检测算法的原理及其适用场景，考虑到业务特殊性，本文不涉及特征细节。

1.时间序列

1.1 移动平均(Moving Average，MA)

移动平均是一种分析时间序列的常用工具，它可过滤高频噪声和检测异常点。根据计算方法的不同，常用的移动平均算法包括简单移动平均、加权移动平均、指数移动平均。假设移动平均的时间窗口为T，有一个时间序列：

1.1.1 简单移动平均(Simple Moving Average,SMA)

从上面的公式容易看出可以用历史的值的均值作为当前值的预测值，在序列取值随时间波动较小的场景中，上述移动均值与该时刻的真实值的差值超过一定阈值则判定该时间的值异常。

适用于：

a.对噪声数据进行平滑处理，即用移动均值替代当前时刻取值以过滤噪声；

b.预测未来的取值。

1.1.2 加权移动平均(Weighted Moving Average, WMA)

由于简单移动平均对窗口内所有的数据点都给予相同的权重，对近期的最新数据不够敏感，预测值存在滞后性。按着这个思路延伸，自然的想法就是在计算移动平均时，给近期的数据更高的权重，而给窗口内较远的数据更低的权重，以更快的捕捉近期的变化。由此便得到了加权移动平均和指数移动平均。

加权移动平均比简单移动平均对近期的变化更加敏感，加权移动平均的滞后性小于简单移动平均。但由于仅采用线性权重衰减，加权移动平均仍然存在一定的滞后性。

1.1.3 指数移动平均(Exponential Moving Average, EMA)

指数移动平均(Exponential Moving Average, EMA)和加权移动平均类似，但不同之处是各数值的加权按指数递减，而非线性递减。此外，在指数衰减中，无论往前看多远的数据，该期数据的系数都不会衰减到 0，而仅仅是向 0 逼近。因此，指数移动平均实际上是一个无穷级数，即无论多久远的数据都会在计算当期的指数移动平均数值时，起到一定的作用，只不过离当前太远的数据的权重非常低。在实际应用中，可以按如下方法得到t时刻的指数移动平均：

其中α表示权重的衰减程度，取值在0和1之间。α越大，过去的观测值衰减得越快。

1.2 同比和环比

图2.同比和环比

同比和环比计算公式如图2所示。适合数据呈周期性规律的场景中。如：1.监控APP的DAU的环比和同比，以及时发现DAU上涨或者下跌；2.监控实时广告点击、消耗的环比和同比，以及时发现变化。当上述比值超过一定阈值(阈值参考第10部分)则判定出现异常。

1.3 时序指标异常检测(STL+GESD)

STL是一种单维度时间指标异常检测算法。大致思路是：

(1)先将指标做STL时序分解，得到seasonal，trend，residual成分，如图3所示；

(2)用GESD (generalized extreme studentized deviate)算法对trend+residual成分进行异常检测；

(3)为增强对异常点的鲁棒性，将GESD算法中的mean,std等统计量用median, MAD(median absolute deviation)替换；

(4)异常分输出：abnorm_score = (value - median)/MAD, value为当前值，median为序列的中位数。负分表示异常下跌，正分表示异常上升。

图3.STL分解示例

2.统计

2.1 单特征且符合高斯分布

如果变量x服从高斯分布：

，则其概率密度函数为：