异常检测领域的综述文章

https://github.com/zhuyiche/awesome-anomaly-detection
https://github.com/kc-ml2/journal-club/blob/ceaa45c5822f55d8060afdab907280d3e47b9288/past/2019-06-12-anomaly-detection.md

常用的异常检测方法可分为以下几类：

基于统计的异常检测方法。该方法的基本步骤是对数据点进行建模，再以假定的模型（如泊松分布、正太分布等）根据点的分布来确定是否异常。这种方法首先需要对数据的分布有所了解，进而通过数据变异指标来发现异常数据。常用变异指标有极差、四分位数间距、均差、标准差、变异系数等。但是，基于统计的方法检测出来的异常点产生机制可能不唯一，而且它在很大程度上依赖于待挖掘的数据集是否满足某种概率分布模型，另外模型的参数、离群点的数目等都非常重要，确定这些因素通常都比较困难。因此，实际情况中算法的应用性和可移植性较差。

基于距离的异常检测方法。该方法定义包含并拓展了基于统计的思想，即使数据集不满足任何特定分布模型，它仍能有效地发现离群点，特别是当空间维数比较高时，算法的效率比基于密度的方法要高得多 。算法具体实现时，首先给出记录数据点间的距离（如 曼哈顿距离 、欧氏距离等），然后对数据进行一定的预处理以后就可以根据距离的定义来检测异常值。如基于K-Means的聚类可以将离每个类中心点最远或者不属于任何一个类的数据点提取出来而发现异常值。基于距离的离群检测方法不需要用户拥有任何领域知识且具有比较直观的意义，算法比较容易理解，因此在实际中应用得比较多。

基于密度的离群检测方法。这种方法一般都建立在距离的基础上，其主要思想是将数据点之间的距离和某一范围内数据数这两个参数结合起来，从而得到“密度”的概念，然后根据密度判定记录是否为离群点。例如LOF（局部异常因子）就是用于识别基于密度的局部异常值的算法。离群点被定义为相对于全局的局部离群点，这与传统异常点的定义不同，异常点不再是一个二值属性（要么是异常点，要么是正常点，实际上的定义类似于98%的可能性是一个异常点），它摈弃了以前所有的异常定义中非此即彼的绝对异常观念，更加符合现实生活中的应用；但其缺点就是它只对数值数据有效。

基于偏移的异常点检测方法。基于偏移的离群检测算法 (Deviation-based Outlier Detection) 通过对测试数据集主要特征的检验来发现离群点。目前，基于偏移的检测算法大多都停留在理论研究上，实际应用比较少。

基于时间序列的异常点监测方法。所谓时间序列就是将某一指标在不同时间上的数值，按照时间先后顺序排序而成的数列。这种数列虽然由于受到各种偶然因素的影响而表现出某种随机性，不可能完全准确地用历史值来预测将来，但是前后时刻的数值或数据点的相关性往往呈现某种趋势性或周期性变化，这是时间序列挖掘的可行性之所在。时间序列中没有具体描述被研究现象与其影响因素之间的关系，而是把各影响因素分别看作一种作用力，被研究对象的时间序列则看成合力；然后按作用特点和影响效果将影响因素规为 4 类，即趋势变动（ T ）、季节变动（ S ）、循环变动（ C ）和随机变动（ I ）。这四种类项的变动叠加在一起，形成了实际观测到的时间序列，因而可以通过对这四种变动形式的考察来研究时间系列的变动。目前国际和国内对时间序列相似度的研究提出了许多种解决方法，这些方法主要包括基于直接距离、傅立叶变换、 ARMA 模型参数法、规范变换、时间弯曲模型、界标模型、神经网络、小波变换、规则推导等。 关于时间序列的异常检测应用案例，可参照《统计学在点击流数据中的应用范例——Adobe Analytics异常检测》

异常检测根据原始数据集的不同可分为两类：

新奇检测（Novelty Detection）：新奇检测的前提是已知训练数据集是“纯净”的，未被真正的“噪音”数据或真实的“离群点”污染，然后针对这些数据训练完成之后再对新的数据进行训练以寻找异常数据。
离群点检测（Outlier Detection）：离群点检测的训练数据集则包含“离群点”数据，对这些数据训练完成之后再在新的数据集中寻找异常数据。