数据分析与挖掘（十九）------挖掘建模之离群点检测

一、引言

就餐饮企业而言，经常会碰到如下问题。

1）如何根据客户的消费记录检测是否为异常刷卡消费？

2）如何检测是否有异常订单？

这类异常问题可以通过离群点检测来解决。

离群点检测的任务是发现与大部分其他对象显著不同的对象。大部分数据挖掘方法都是将这种差异信息视为噪声而丢弃，然而在一些应用中，罕见的数据可能蕴含着更大的研究价值。

在上面的数据散布图中，离群点远离其他数据点。因为离群点的属性值明显偏离期望的或常见的属性值，所以离群点检测也称为偏差检测。

（1）离群点检测应用领域：诈骗检测、贷款审批、电子商务、网络入侵、天气预报等

（2）离群点的成因：数据来源于不同的类、自然变异、数据测量和收集误差

（3）离群点的类型：

 

分类标准	分类名称	分类描述
从数据范围	全局离群点和局部离群点	从整体来看，某些对象没有离群特征，但是从局部来看，却显示了一定的离群性。
从数据类型	数值型离群点和分类型离群点	这是以数据集的属性类型进行划分的
从属性的个数	一维离群点和多维离群点	一个对象可能有一个或多个属性

二、离群点检测方法

 

常用离群点检测方法

 

离群点检测方法	方法描述	方法评估
基于统计	大部分的基于统计的离群点检测方法是构建一个概率分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为离群点。	基于统计模型的离群点检测方法的前提是必须知道数据集服从什么分布；对于高维数据，检验效果可能会很差
基于邻近度	通常可以在数据对象之间定义邻近性度量，把远离大部分点的对象视为离群点	简单，二维或三维的数据可以做散点图观察，大数据集不适用；对参数选择敏感；具有全局阈值，不能处理具有不同密度区域的数据集。
基于密度	考虑数据集可能存在不同密度区域这一事实，从基于密度的观点分析，离群点是在低密度区域中的对象。一个对象的离群点得分是该对象周围密度的逆。	给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好处理，大数据集不适用，参数选择是困难的。
基于聚类	一种利用聚类检测离群点的方法是丢弃远离其他簇的小簇；另一种更系统的方法，首先聚类所以对象，然后评估对象属于簇的程度（离群点得分）	基于聚类技术来发现离群点可能是高度有效的；聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。

 

• 基于统计模型的离群点检测方法需要满足统计学原理，如果分布已知，则检验可能非常有效。

• 基于邻近度的离群点检测方法比统计学方法更一般、更容易使用，因为确定数据集有意义的邻近度量比确定它的统计分布更容易。

• 基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度常用邻近度定义：一种是定义密度为到K个最邻近的平均距离的倒数，如果该距离小，则密度高；另一种是使用DBSCAN聚类算法，一个对象周围的密度等于该对象指定距离d内对象的个数。

三、基于模型的离群点检测方法

 

• 通过估计概率分布的参数来建立一个数据模型。如果一个数据对象不能很好地同该模型拟合，即如果它很可能不服从该分布，则它是一个离群点。

• 在某些情况下是很难建立模型的。例如，因为数据的统计分布未知或没有训练数据可用。在这种情况下，可以考虑其他不需要建立模型的检测方法。

（1）一元正态分布中的离群点检测

N（0，1）的数据对象出现在该分布的两边尾部的机会很小，因此可以用它作为检测数据对象是否为离群点的基础，数据对象落在三倍标准差中心区域之外的概率仅有0.0027.

（2）混合模型的离群点检测

• 混合模型是一种特殊的统计模型，他使用若干统计分布对数据建模。每一个分布对应一个簇，而每个分布的参数提供对应簇的描述，通常使用中心和发散描述。

• 混合模型将数据看作从不同的概率分布得到的观测值的集合。概率分布可以是任何分布，但是通常是多元正态的，因为这种类型的分布不难理解，容易从数学上 进行处理，并且已经证明在很多情况下都能产生好的结果。这种类型的分布可以对椭圆簇建模。

• 总的来说，混合模型数据产生的过程为：给定几个类型相同但参数不同的分布，随机地选取一个分布并由它产生一个对象。重复该过程m次，其中m是对象的个数。

• 

• 

• 对于混合模型，每个分布描述一个不同的组，即一个不同的簇。通过使用统计方法，可以由数据估计这些分布的参数，从而描述这些分布（簇）。也可以识别哪个对象属于哪个簇。然而，混合模型只是给出具体对象属于特定簇的概率。

• 聚类时，混合模型方法假定数据来自混合概率分布，并且每个簇可以使用这些分布之一识别。同样，对于离群点检测，用两个分布的混合模型建模，一个分布为正常数据，而另一个为离群点。

• 聚类和离群点检测的目标都是估计分布的参数，以最大化数据的总似然。

• 一种离群点检测的常用的简单的方法：先将所有数据对象放入正常数据集，这时离群点集为空集；再用一个迭代过程将数据对象从正常数据集转移到离群点集，该转移能提高数据的总似然。

• 

• 因为正常数据对象的数量比离群点对象的数量大很多，因此当一个数据对象移动到离群点集后，正常数据对象的分布变化不大。在这种情况下，每个正常数据对象的总似然的贡献保持不变。此外，如果假定离群点服从均匀分布，则移动到离群点集的每一个数据对象对离群点的似然贡献一个固定的量。这样，当一个数据对象移动到离群点集时，数据总似然的改变粗略地等于该数据对象在均匀分布下地概率减去该数据对象在正常数据点地分布下的概率。然而，离群点由这样一些数据对象组成。这样，数据对象在均匀分布下的概率比正常数据对象分布下的概率高。

四、基于聚类的离群点检测方法

聚类分析用于发现局部强相关的对象组，而异常检测用来发现不与其他对象强相关的对象。因此，聚类分析非常自然地可以用于离群点检测。以下为两种基于聚类的离群点检测方法。

（1）丢弃远离其他簇的小簇（丢弃小于某个最小阈值的所有簇）

这个方法可以和其他任何聚类技术一起使用，但是需要最小簇大小和小簇与其他簇之间距离的阈值。而且这种方案对簇个数的选择高度敏感，使用这个方案很难将离群点得分附加到对象上。

在上图中，聚类簇K=2，可以直观地看出其中一个包含5个对象的小簇远离大部分对象，可以视为离群点。

（2）基于原型的聚类

基于原型的聚类是另一种更系统的方法。首先聚类所有对象，然后评估对象属于簇的程度（离群点得分）。在这种方法中，可以用对象到它的簇中心的距离来度量属于簇的程度。特别地，如果删除一个对象导致该目标的显著改进，则可将该对象视为离群点。例如，在K-均值算法中，删除远离其相关簇中心的对象能够显著地改进该簇地误差平方和（SEE)。

对于基于原型的聚类，主要有两种方法评估对象属于簇的程度（离群点得分）：一是度量对象到簇原型的距离，并用它作为该对象的离群点得分；二是考虑到簇具有不同的密度，可以度量簇到原型的相对距离，相对距离是点到质心的距离与簇中所有点到质心的距离的中位数之比。

上图中，如果选择聚类簇数K=3，则对象A,B,C应分别属于距离它们最近的簇，但相对于簇内的其他对象，这三个点又分别远离各自的簇，所以有理由怀疑对象A,B,C是离群点。

诊断步骤如下：

1）进行聚类。选择聚类算法（如K-Means算法），将样本集聚为K簇，并找到各簇的质心。

2）计算各对象到它的最近质心的距离。

3）计算各对象到它的最近质心的相对距离。

4）与给定的阈值作比较。

如果某对象距离大于该阈值，则认为该对象是离群点。

基于聚类的离群点检测的改进：

1）离群点对初始聚类的影响：通过聚类检测离群点时，离群点会影响聚类结果。为了处理该问题，可以使用方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）

2）还有一种更复杂的方法：取一组不能很好地拟合任何簇的特殊对象，这组对象代表潜在的离群点。随着聚类过程的进展，簇在变化。不再强属于任何簇的对象被添加到潜在的离群点集合；测试当前在该集合中的对象，如果它现在强属于一个簇，就可以将它从潜在的离群点集合中移除。聚类过程结束时还留在该集合中的点被分类为离群点（这种方法也不能保证产生最优解，甚至不比前面的简单算法好，在使用相对距离计算离群点得分时，这个问题特别严重）。

对象是否被认为是离群点可能依赖于簇的个数（如k很大时的噪声簇）。该问题也没有简单的答案。一种策略是对于不同的簇个数重复该分析。另一种方法是找出大量小簇，其想法如下：

1）较小的簇倾向于更加凝聚；

2）如果存在大量小簇时，一个对象是离群点，则它多半是一个真正的离群点。

不利的一面是一组离群点可能形成小簇从而逃避检测。

实例：离散点检测

利用表5-14的数据进行聚类分析，并计算各个样本到各自聚类中心的距离

#-*- coding: utf-8 -*-
#使用K-Means算法聚类消费行为特征数据

import numpy as np
import pandas as pd


#参数初始化
inputfile = '../data/consumption_data.xls' #销量及其他属性数据
k = 3 #聚类的类别
threshold = 2 #离散点阈值
iteration = 500 #聚类最大循环次数
data = pd.read_excel(inputfile, index_col = 'Id') #读取数据
data_zs = 1.0*(data - data.mean())/data.std() #数据标准化

from sklearn.cluster import KMeans
model = KMeans(n_clusters = k, n_jobs = 4, max_iter = iteration) #分为k类，并发数4
model.fit(data_zs) #开始聚类

#标准化数据及其类别
r = pd.concat([data_zs, pd.Series(model.labels_, index = data.index)], axis = 1)  #每个样本对应的类别
r.columns = list(data.columns) + [u'聚类类别'] #重命名表头


norm = []
for i in range(k): #逐一处理
  norm_tmp = r[['R', 'F', 'M']][r[u'聚类类别'] == i]-model.cluster_centers_[i]
  norm_tmp = norm_tmp.apply(np.linalg.norm, axis = 1) #求出绝对距离
  norm.append(norm_tmp/norm_tmp.median()) #求相对距离并添加


norm = pd.concat(norm) #合并


import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
norm[norm <= threshold].plot(style = 'go') #正常点

discrete_points = norm[norm > threshold] #离群点
discrete_points.plot(style = 'ro')

for i in range(len(discrete_points)): #离群点做标记
  id = discrete_points.index[i]
  n = discrete_points.iloc[i]
  plt.annotate('(%s, %0.2f)'%(id, n), xy = (id, n), xytext = (id, n))

plt.xlabel(u'编号')
plt.ylabel(u'相对距离')
plt.show()

输出如下图所示距离误差图

分析距离误差图可以得到，如果距离阈值设置为2，那么所给的数据中有8个离散点，在聚类的时候这些数据应该剔除。