离群点检测方法

离群点检测

一、什么是离群点

离群点是一个数据对象，它显著不同于其他数据对象，好像它是被不同的机制产生的一样。有时也称非离群点为“正常数据”，离群点为“异常数据”。

离群点不同于噪声数据。噪声是被观测变量的随机误差或方差。一般而言，噪声在数据分析（包括离群点分析）中不是令人感兴趣的。如在信用卡欺诈检测，顾客的购买行为可以用一个随机变量建模。一位顾客可能会产生某些看上去像“随机误差”或“方差”的噪声交易，如买一份较丰盛的午餐，或比通常多要了一杯咖啡。这种交易不应该视为离群点，否则信用卡公司将因验证太多的交易而付出沉重代价。因此，与许多其他数据分析和数据挖掘任务一样，应该在离群点检测前就删除噪声。

离群点检测是有趣的，因为怀疑产生它们的机制不同于产生其他数据的机制。因此，在离群点检测时，重要的是搞清楚为什么检测到的离群点被某种其他机制产生。通常，在其余数据上做各种假设，并且证明检测到的离群点显著违反了这些假设。

二、离群点的类型

一般而言，离群点可以分成三类：全局离群点、情境（或条件）离群点和集体离群点。

2.1 全局离群点

在给定的数据集中，一个数据对象是全局离群点，如果它显著的偏离数据集中的其他对象。全局离群点是最简单的一类离群点，大部分的离群点检测方法都旨在找出全局离群点。

2.2 情境离群点

在给定的数据集中，一个数据对象是情境离群点，如果关于对象的特定情境，它显著的偏离其他对象。情境离群点又称为条件离群点，因为它们条件的依赖于选定的情境。一般地，在情境离群点检测中，所考虑数据对象的属性划分成两组：

Ÿ   情境属性：数据对象的情境属性定义对象的情境。一般为静态属性变量，如信用卡欺诈检测中，不同年龄、不同地区的人消费情况是不同的，先按照静态属性将人群大致分类，再检测每一类的离群点，会得到更好的结果。

Ÿ   行为属性：定义对象的特征，并用来评估对象关于它所处的情境是否为离群点。在上述例子中，行为属性可以是消费金额，消费频率等

情境离群点分析为用户提供了灵活性，因为用户可以在不同情境下考察离群点，这在许多应用中都是非常期望的。

2.3 集体离群点

给定一个数据集，数据对象的一个子集形成集体离群点，如果这些对象作为整体显著的偏离整个数据集。如一家供应链公司，每天处理数以千计的订单和出货。如果一个订单的出货延误，则可能不是离群点，因为统计表明延误时常发生。然而，如果有一天有100个订单延误，则必须注意。这100个订单整体来看，形成一个离群点，尽管如果单个考虑，它们每个或许都不是离群点。你可能需要更详细地整个考察这些订单，搞清楚出货问题。

与全局和情境离群点检测不同，在集体离群点检测中，不仅必须考虑个体对象的行为，而且还要考虑对象组群的行为。因此，为了检测集体离群点，需要关于对象之间联系的背景知识，如对象之间的距离或相似性测量方法。

三、离群点检测方法

3.1 统计学方法

离群点检测的统计学方法对数据的正常性做假定。假定数据集中的正常对象由一个随机过程（生成模型）产生。因此，正常对象出现在该随机模型的高概率区域中，而低概率区域中的对象是离群点。

离群点检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为离群点。有许多不同方法来学习生成模型，一般而言，根据如何指定和如何学习模型，离群点检测的统计学方法可以划分成两个主要类型：参数方法和非参数方法。

参数方法假定正常的数据对象被一个以为参数的参数分布产生。该参数分布的概率密度函数给出对象被该分布产生的概率。该值越小，越可能是离群点。

非参数方法并不假定先验统计模型，而是试图从输入数据确定模型。非参数方法的例子包括直方图和核密度估计。

3.1.1 参数方法

1、基于正态分布的一元离群点检测

         假定数据集由一个正态分布产生，然后，可以由输入数据学习正态分布的参数，并把低概率的点识别为离群点。

         在正态分布的假定下，区域包含99.7%的数据，包含95.4%的数据，包含68.3%的数据。视具体情况而定，将其区域外的数据视为离群点。

         这种直截了当的统计学离群点检测方法也可以用于可视化。例如盒图方法使用五数概况绘制一元输入数据：最小的非离群点值（Min）、第一个四分位数（Q1）、中位数（Q2）、第三个四分位数（Q3）和最大的非离群点值（Max）。

         四分位数极差（IQR）定义为Q3-Q1。比Q1小1.5倍的IQR或者比Q3大1.5倍的IQR的任何对象都视为离群点，因为Q1-1.5*IQR和Q3+1.5*IQR之间的区域包含了99.3%的对象。

2、多元离群点检测

（1）使用马哈拉诺比斯距离检测多元离群点。

对于一个多元数据集，设为均值向量。对于数据集中的对象，从到的马哈拉诺比斯（Mahalanobis）距离为

其中S是协方差矩阵。

         是一元数据，可以对它进行离群点检测。如果被确定为离群点，则也被视为离群点。

（2）使用统计量的多元离群点检测。

         在正态分布的假设下，统计量可以用来捕获多元离群点。对于对象，统计量是

其中，是在第维上的值，是所有对象在第维上的均值，而是维度。如果对象的统计量很大，则该对象是离群点。

（3）使用混合参数分布

         在许多情况下，数据是由正态分布产生的假定很有效。然而，当实际数据很复杂时，这种假定过于简单。在这种情况下，假定数据是被混合参数分布产生的。

         混合参数分布中用期望最大化（EM）算法来估计参数。具体情况比较复杂，可以参考韩家炜的《数据挖掘：概念与技术》一书。

3.1.2 非参数方法

在离群点检测的非参数方法中，“正常数据”的模型从输入数据学习，而不是假定一个先验。通常，非参数方法对数据做较少假定，因而在更多情况下都可以使用。

 

使用直方图检测离群点

包括如下两步：

步骤1：构造直方图。尽管非参数方法并不假定任何先验统计模型，但是通常确实要求用户提供参数，以便由数据学习。如指定直方图的类型（等宽或等深的）和其他参数（如直方图中的箱数或每个箱的大小）。与参数方法不同，这些参数并不指定数据分布的类型（如高斯分布）。

步骤2：检测离群点。为了确定一个对象是否是离群点，可以对照直方图检验它。在最简单的方法中，如果该对象落入直方图的一个箱中，则该对象被看做是正常的，否则被认为是离群点。

对于更复杂的方法，可以使用直方图赋予每个对象一个离群点得分。一般可以令对象的离群点得分为该对象落入的箱的容积的倒数。得分越高，表明是离群点的概率越大。

使用直方图作为离群点检测的非参数模型的一个缺点是，很难选择一个合适的箱尺寸。一方面，如箱尺寸太小，则由很多正常对象都会落入空的或稀疏箱，因而被误识别为离群点。这将导致很高的假正例率或低精度。相反，如果箱尺寸太大，则离群点对象可能渗入某些频繁的箱中，这将导致很高的假负例率或召回率。为了解决这些问题，使用核密度估计来估计数据的概率密度分布。具体参考韩家炜的《数据挖掘：概念与技术》。

3.2 基于邻近性的方法

         给定特征空间中的对象集，可以使用距离度量来量化对象间的相似性。基于邻近性的方法假定：离群点对象与它最近邻的邻近性显著偏离数据集中其他对象与它们近邻之间的邻近性。

         有两种类型的基于邻近性的离群点检测方法：基于距离的和基于密度的方法。基于距离的离群点检测方法考虑对象给定半径的邻域。一个对象被认为是离群点，如果它的邻域内没有足够多的其他点。基于密度的离群点检测方法考察对象和它近邻的密度。这里，一个对象被识别为离群点，如果它的密度相对于它的近邻低得多。

3.2.1 基于距离的离群点检测

对于待分析的数据对象集D，用户可以指定一个距离阈值r来定义对象的合理邻域。对于每个对象o，可以考察o的r-邻域中的其他对象的个数。如果D中大多数对象都远离o，即都不在o的r-邻域中，则o可以被视为一个离群点。

令是距离阈值，是分数阈值。对象是一个离群点，如果

其中是距离度量。

如何计算-离群点？一是嵌套循环方法，时间复杂度为。当数据集很大时，该方法的开销很大。为了改进性能，可以用基于网格的方法来实现。具体见韩家炜《数据挖掘》一书。

3.2.2 基于密度的离群点检测

基于距离的离群点检测从全局考虑数据集。由于以下两个原因，这种离群点被看成“全局离群点”：

l  例如，一个-离群点至少远离（用参数r定量）数据集中的对象。换言之，这种离群点远离数据的大多数。

l  为了检测基于距离的离群点，需要两个距离参数，它们用于每个离群点对象。

 

现实世界的许多数据集都呈现更复杂的结构，那里对象可能关于其局部邻域，而不是关于整个数据分布而被视为离群点。如下图，基于距离的离群点检测方法不能捕获像o1和o2这样的局部离群点。

那么，如何确切地定义如图所示的局部离群点？这里关键的思想是，需要把对象周围的密度与对象邻域周围的密度进行比较。基于密度的离群点检测方法的基本假定是：非离群点对象周围的密度与其邻域周围的密度类似，而离群点对象周围的密度显著不同于其邻域周围的密度。

 

 

 

对于密度的具体衡量可参考韩家炜的《数据挖掘》，这里不做过多介绍。

3.3 基于聚类的方法

基于聚类的方法通过考察对象与簇之间的关系检测离群点。直观地，离群点是一个对象，它属于小的偏远簇，或不属于任何簇。

这导致三种基于聚类的离群点检测的一般方法。考虑一个对象。

l  该对象属于某个簇吗？如果不，则它被识别为离群点。

l  该对象与最近的簇之间的距离很远吗？如果是，则它是离群点。

l  该对象是小簇或稀疏簇的一部分吗?如果是，则该簇中的所有对象都是离群点。

 

下面对每一种方法考察一个例子。

 

例1 把离群点检测为不属于任何簇的对象。如图1所示，使用基于密度的聚类方法，如DBSCAN,注意到黑色点都属于簇，白色点a不属于任何簇，因而被认为是离群点。

 

图1 对象a是离群点，因为 它不属于任何簇        

图2 离群点（a,b,c）都（关于簇中心）远离距它们最近的簇

 

例2 使用到最近簇的距离的基于聚类的离群点检测。如图2所示，使用k-均值聚类方法，可以把图2中的数据点划分成3个簇，如图中不同符号所示，每个簇中心用“+”标记。对于每个对象o，都可以根据该对象与最近簇中心的距离，赋予该对象一个离群点得分。假设到o的最近中心为c,则o与c之间的距离为dist(o,c)，c与指派到c的对象之间的平均距离为L,比率度量与平均值的差异程度。在图2中，点a,b和c都相对远离它们的对应中心，因而被怀疑是离群点。

 

例3 检测小簇中的离群点

迄今为止我们看到的每种方法都只检测个体离群点，因为它们一次把一个对象与数据集中的簇进行比较。然而，在大型数据中，一些离群点可能是类似的，并且形成一个小簇。例如，在入侵检测中，使用相同手段攻击系统的黑客可能形成一个簇。迄今为止所讨论的方法可能被这种离群点所欺骗。

         为了解决这一问题，第三种基于聚类的离群点检测方法识别小簇或稀疏簇，并宣告这些簇中的对象也是离群点。这种方法的一个例子是FindCBLOF算法，其方法如下。

（1）      找出数据集中的簇，并把它们按大小降序排列。该算法假定大部分数据点都不是离群点，它使用一个参数来区别大簇和小簇。任何至少包含数据集中百分之（如，=90%）数据点的簇都被视为大簇，而其余的簇被看成小簇。

（2）      对于每个数据点赋予基于簇的局部离群点因子（CBLOF），对于属于大簇的点，它的CBLOF是簇的大小和该点与簇的相似性的乘积。对于属于小簇的点，它的CBLOF用小簇的大小和该点与最近的大簇的相似性的乘积计算。

CBLOF用统计学方法定义点和簇之间的相似性，代表点属于簇的概率。该值越大，点与簇越相似。CBLOF值可以检测远离任何簇的离群点。

 

         基于聚类的离群点检测方法具有如下优点。首先，它们可以检测离群点，而不要求数据是有标号的，即它们以无监督方式检测。它们对许多类型的数据都有效。簇可以看成是数据的概括，一旦得到簇，基于聚类的方法只需要把对象与簇进行比较，以确定该对象是否是离群点，这一过程通常很快，因为与对象总数相比，簇的个数通常很小。

         基于聚类的方法的缺点是：它的有效性高度依赖于所使用的聚类方法。这些方法对于离群点检测而言可能不是最优的。对于大型数据集，聚类方法通常开销很大，这可能成为一个瓶颈。

3.4 基于分类的方法

         如果训练数据具有类标号，则离群点检测可以看做分类问题。基于分类的离群点检测方法的一般思想是，训练一个可以区分“正常”数据和离群点的分类模型。

         基于分类的离群点检测方法通常使用一类模型（单分类模型SVDD），即构造一个仅描述正常类的分类器，不属于正常类的任何样本都被视为离群点。

         基于分类的方法和基于聚类的方法可以联合使用，以半监督的方式检测离群点。

例通过半监督学习检测离群点

 

如上图所示，其中对象被标记为“正常”或“离群点”，或者没有标号。使用基于聚类的方法，发现一个大簇C和一个小簇C1。因为C中的某些对象携带了标号“正常”，因此可以把该簇的所有对象（包括没有标号的对象）都看做正常对象。在离群点检测中，使用这个簇的一类模型来识别离群点。类似的，因为簇C1中的某些对象携带标号“离群点”，因此宣布C1中的所有对象都是离群点。未落入C模型中的任何对象（如a）也被视为离群点。

3.5 挖掘情境离群点和集体离群点

与一般的离群点检测相比，识别情境离群点需要分析对应的情境信息。情境离群点检测方法可以根据情境是否可以清楚地识别而分成两类。

3.5.1 把情境离群点检测转换成传统的离群点检测

         这类方法适用于情境可以被清楚识别的情况，其基本思想是把情境离群点检测问题转换成典型的离群点检测问题。具体地说，对于给定的数据对象，用两步来评估该对象是否是离群点。第一步，使用对象的情境属性识别对象的情境。第二步，使用一种传统的离群点检测方法，估计该对象的离群点得分。

3.5.2 关于情境对正常行为建模

         在某些应用中，清楚地把数据划分成情境是不方便的或不可行的。这时，可以关于情境对正常行为建模。使用一个训练数据集，这种方法训练一个模型，关于情境属性的值，预测期望的行为属性值。然后，为了确定一个数据对象是否是情境离群点，可以在该对象的情境属性上使用该模型。如果该对象的行为属性值显著地偏离该模型的预测值，则该对象被宣布为情境离群点。

         通过使用连接情境和行为的预测模型，这些方法避免直接识别具体情境。许多分类和预测技术都可以用来构建这种模型，如回归、马尔科夫模型和有穷状态自动机等等。

3.5.3 挖掘集体离群点

与情境离群点检测一样，集体离群点检测方法也可以划分为两类。第一类方法把问题归结为传统的离群点检测。其策略是识别结构单元，把每个结构单元（例如，子序列、时间序列片段、局部区域或子图）看做是一个数据对象，并提取特征。这样，集体离群点检测问题就转换成在使用提取的特征构造的“结构化对象”集上的离群点检测。一个结构单元代表原数据集中的一组对象，如果该结构单元显著地偏离提取的特征空间中的期望趋势，则它是一个集体离群点。

为集体离群点检测预先定义结构单元可能是困难的，或者是不可能的。因此，第二类方法直接对结构单元的期望行为建模。例如，为了在时间序列中检测离群点，一种方法是从序列中学习马尔科夫模型。因此，一个子序列被宣布为集体离群点，如果它显著地偏离该模型。

3.6 高维数据中的离群点检测

一般地，高维数据的离群点检测方法应该应对以下挑战：

l  离群点的解释：不仅应该能够识别检测离群点，而且能够提供离群点的解释。离群点的解释可能是，例如，揭示离群点的特定子空间，或者关于对象的“离群点性”的评估。这种解释可以帮助用户理解离群点的含义和意义。

l  数据的稀疏性：这些方法应该能处理高维空间的稀疏性。随着维度的增加，对象之间的距离严重地被噪声所左右。因此，高维空间中的数据通常是稀疏的。

l  数据子空间：它们应该以合适的方式对离群点建模，例如，自适应现实离群点的子空间和捕获数据的局部变化。在所有的子空间上使用固定的距离阈值来检测离群点捕食一种好想法，因为两个对象之间的距离随着维度增加而单调增加。

l  关于维度的可伸缩性：随着维度的增加，子空间的数量指数增加。包含所有可能的子空间的穷举组合探索不是可伸缩的选择。

 

高维数据的离群点检测方法可以划分成三种主要方法，包括扩充的传统离群点检测、发现子空间中的离群点和对高维离群点建模。

3.6.1 扩充的传统离群点检测

         一种高维数据离群点检测方法是扩充的传统离群点检测方法。它使用传统的基于邻近性的离群点模型。然而，为了克服高维空间中邻近性度量恶化问题，它使用其他度量，或构造子空间并在其中检测离群点。

HilOut算法就是这种方法的一个例子。HitOut找出基于距离的离群点，但在离群点检测中使用距离的秩，而不是绝对距离。具体地说，对于每个对象o，HitOut找出o的k个最近邻，记作nn1(o),nn2(o)……nnk(o),其中k是一个依赖于应用的参数。参数o的权重定义为

所有对象按权重递减序定秩。权重最高的top-p个对象作为离群点输出，其中p是另一个用户指定的参数。

HilOut算法计算每个对象的k-最近邻开销很大，当维度很高并且数据很大时不能伸缩。

另一种方法则是通过维归约，把高维离群点检测问题归结为较低维上的离群点检测。其基本思想是，把高维空间归约到低维空间，那里标准的距离度量仍然能够区分离群点。如果能够找到这样的较低维空间，则可以用传统的离群点检测方法。

为了降低维度，可以对离群点检测使用或扩充一般的特征特征选择和提取方法。例如，可以用主成分分析（PCA）来提取一个低维空间。

3.6.2 发现子空间中的离群点

         高维数据中离群点检测的另一种方法是搜索各种子空间中的离群点。其唯一的优点是，如果发现一个对象是很低维度的子空间的离群点，则该子空间提供了重要信息，解释该对象为什么和在何种程度上是离群点。

         如何检测子空间中的离群点，一种方法是基于网格的子空间离群点检测。具体做法见韩家炜《数据挖掘》。

3.6.3 高维离群点建模

         另一种方法是试图直接为高维离群点建立一个新模型。这种方法通常避免邻近性度量，而是采用新的启发式方法来检测离群点。具体做法见韩家炜《数据挖掘》。