2021-05-14

最新推荐文章于 2023-07-01 09:26:11 发布

飞翔蜗牛车

最新推荐文章于 2023-07-01 09:26:11 发布

阅读量179

点赞数

文章标签： python 机器学习安全数据挖掘线性代数

本文链接：https://blog.csdn.net/weixin_49632439/article/details/116785888

版权

DataWhale 异常检测学习记录 Task02

前言

本文内容来源于DataWhale 2021年5月组队学习的异常检测课程资料，作为学习记录和感悟如有不足之处，感谢批评指正。

一、概述

基于统计学方法的异常检测都基于这样一个假定：正常的数据对象都是由一个统计模型产生的，而不遵守该模型的数据点即为异常点。而这也就决定该方法的有效性高度依赖于对给定数据所做的统计模型的假定是否成立。其一般思想是：利用统计学方法针对给定数据建立一个模型，然后考虑对象有多大可能符合该模型，识别该模型低概率区域中的对象，即为异常点。

异常检测的统计学方法可以分为参数和非参数两种方法：

参数方法：假定正常的数据对象由一个以 $\Theta$ 为参数的参数分布产生，该参数分布的概率密度函数 $f(x,\Theta )$ 表示对象x由该分布产生的概率。概率值越小，则x越可能是异常点。

非参数方法：该方法并不事先假定一个统计模型而是通过输入的样本数据拟合出一个模型。通常假定参数的个数和性质都是灵活的，不预先确定。

二、参数方法

1.基于正态分布的一元异常点检测

一元数据：仅涉及一个属性或变量的数据。检测过程如下：

Step1，假定数据集中的样本服从正态分布，根据输入数据求出分布的均值和方差两个参数。

ps：在许多情况下假定数据是由正态分布产生的。当实际数据很复杂时，这种假定过于简单，可以假定数据是被混合参数分布产生的。

Step2，根据上述求得的参数，利用概率密度函数计算数据点服从该分布的概率。

正态分布的概率密度函数为：

Step3，将计算获得的概率与阈值相比较，低于阈值的数据点即为异常点。

此外，阈值是个经验值，可以选择在验证集上使得评估指标值最大（也就是效果最好）的阈值取值作为最终阈值。例如常用的3sigma原则中，如果数据点超过范围 $\large \left ( \mu -3\sigma , \mu +3\sigma \right )$ ，那么这些点很有可能是异常点。

此外还可通过箱线图可视化进行异常点的检测。箱线图对数据分布做了一个简单的统计可视化，利用数据集的上下四分位数（Q1和Q3）、中点等形成。异常点常被定义为小于Q1－1.5IQR或大于Q3+1.5IQR的那些数据。（IQR表示四分位差）

#### 箱线图说明
1 2 3 4 5 6 7 8 9
* n=9
* 中位数为5
* 下四分位数: 3 所在位置（9*1/4）=2.25
* 上四分位数: 7 所在位置（9*3/4）=6.75
* 四分位差: 7-3=4
* 默认最大上界: 7+1.5*4=13 四分位差加上1.5乘以4
* 默认最大下届: 3-1.5*4=-3
* 超出上下界的即为异常值

代码如下（示例）：

import numpy as np 
import pandas as pd 
import matplotlib.pyplot as plt 
import seaborn as sns 
import warnings warnings.filterwarnings('ignore') 
import ssl ssl._create_default_https_context = ssl._create_unverified_context 


# 数据集data为自己的数据集
plt.figure(figsize=(8,10))
sns.boxplot(x = 'Bank', y = 'Sale', data =data, 
           showmeans=True,color = 'steelblue',  # showmeans 是否显示均值
           flierprops = {'marker':'o','markerfacecolor':'red', 'markersize':10},  # 异常值的展示形式设定
           meanprops = {'marker':'D','markerfacecolor':'white', 'markersize':10}, # 均值的展示形式
           medianprops = {'linestyle':'--','color':'white'} # 中位数的展示形式
           )
plt.xlabel('Bank')
plt.ylabel('Sale')
plt.grid()
plt.show()

下图中红色的点即为异常值

2.多元异常检测

涉及两个或多个属性或变量的数据称为多元数据。许多一元异常点检测方法都可以扩充，用来处理多元数据。其核心思想是把多元异常点检测任务转换成一元异常点检测问题。

例如基于正态分布的一元异常点检测扩充到多元情形时，可以求出每一维度的均值和标准差。对于第 j维：

计算概率时的概率密度函数为

这是在各个维度的特征之间相互独立的情况下。如果特征之间有相关性，就要用到多元高斯分布。

多个特征相关，且符合多元高斯分布：

ps:当多元高斯分布模型的协方差矩阵为对角矩阵，且对角线上的元素为各自一元高斯分布模型的方差时，二者是等价的。

三、非参数方法

在异常检测的非参数方法中，“正常数据”的模型从输入数据学习得来，而不是假定一个先验统计模型。通常，非参数方法对数据做较少假定，因而在更多情况下都可以使用。

尽管非参数方法并不假定任何先验统计模型，但是通常确实要求用户提供参数，以便由数据学习。例如利用直方图检验异常点时，用户必须指定直方图的类型（等宽的或等深的）和其他参数（直方图中的箱数或每个箱的大小等）。与参数方法不同，这些参数并不指定数据分布的类型。

如利用直方图检验异常点，主要步骤如下：

Step1：构造直方图。使用输入数据（训练数据）构造一个直方图。该直方图可以是一元的，或者多元的（如果输入数据是多维的）。

Step2：检测异常点。为了确定一个对象是否是异常点，可以对照直方图检查它。在最简单的方法中，如果该对象落入直方图的一个箱中，则该对象被看作正常的，否则被认为是异常点。

对于更复杂的方法，可以使用直方图赋予每个对象一个异常点得分。例如令对象的异常点得分为该对象落入的箱的容积的倒数。

缺点：使用直方图作为异常点检测的非参数模型的一个缺点是，很难选择一个合适的箱尺寸。一方面，如果箱尺寸太小，则许多正常对象都会落入空的或稀疏的箱中，因而被误识别为异常点。另一方面，如果箱尺寸太大，则异常点对象可能渗入某些频繁的箱中，因而“假扮”成正常的。

四、基于角度的方法

该方法的主要思想是：数据边界上的数据点(可能的异常点)很可能将整个数据包围在一个较小的角度内，而内部的数据点(正常点)则可能以不同的角度围绕着他们。

如下图所示，其中点A是一个异常点，点B位于数据内部。

如果数据点与其余点离得较远，则潜在角度可能越小。因此，具有较小角度谱的数据点是异常值，而具有较大角度谱的数据点不是异常值。

五、HBOS算法

HBOS全名为：Histogram-based Outlier Score。它是一种单变量方法的组合，不能对特征之间的依赖关系进行建模，但是计算速度较快，对大数据集友好。

其基本假设是数据集的每个维度相互独立。然后对每个维度进行区间(bin)划分，区间的密度越高，异常评分越低。

HBOS算法流程如下：

Step1：为每个数据维度做出数据直方图。

对分类数据统计每个值的频数并计算相对频率。对数值数据根据分布的不同采用以下两种方法：

1.静态宽度直方图：标准的直方图构建方法，在值范围内使用k个等宽箱。样本落入每个桶的频率（相对数量）作为密度（箱子高度）的估计。时间复杂度： $\large O(n)$

2.动态宽度直方图：首先对所有值进行排序，然后固定数量的 $\large N/k$ 个连续值装进一个箱里，其中N是总实例数，k是箱个数；直方图中的箱面积表示实例数。因为箱的宽度是由箱中第一个值和最后一个值决定的，所有箱的面积都一样，因此每一个箱的高度都是可计算的。这意味着跨度大的箱的高度低，即密度小，只有一种情况例外，超过k个数相等，此时允许在同一个箱里超过N/k 值。时间复杂度： $\large O(n*log(n))$

Step2:对每个维度都计算了一个独立的直方图，其中每个箱子的高度表示密度的估计。然后为了使得最大高度为1（确保了每个特征与异常值得分的权重相等），对直方图进行归一化处理。最后，每一个实例的 HBOS值由以下公式计算：

HBSO算法代码实现案例：

# 导入相应的库
from pyod.utils.data import generate_data,evaluate_print
from pyod.models import hbos   # HBOS算法
from pyod.utils.example import visualize

# 生成训练测试用数据集
contamination = 0.1  # 异常值所占的比例
n_train = 200  # 训练数据点的数量
n_test = 100  # 测试数据点的数量

# 训练集与测试集的划分
X_train, y_train, X_test, y_test = generate_data(n_train=n_train, n_test=n_test, contamination=contamination)

# 模型拟合
model=hbos.HBOS()
model.fit(X_train,y_train)
y_train_pred = model.labels_
y_train_socres =model.decision_scores_
y_test_pred =model.predict(X_test)  # 返回未知数据上的分类标签 (0: 正常值, 1: 异常值)
y_test_scores = model.decision_function(X_test)  #  返回未知数据上的异常值 (分值越大越异常)

# 结果可视化
model_name = 'HBOS'
print("测试数据:")
evaluate_print(model_name, y_test, y_test_scores)
visualize(model_name, X_train, y_train, X_test, y_test, y_train_pred,
   y_test_pred, show_figure=True, save_figure=False)

测试数据指标评价如下所示:

测试数据:
HBOS ROC:0.9933, precision @ rank n:0.8889

可视化结果如下图所示：

总结

1.异常检测的统计学方法由数据学习模型，以区别正常的数据对象和异常点。使用统计学方法的一个优点是，异常检测可以是统计上无可非议的。当然，仅当对数据所做的统计假定满足实际约束时才为真。

2.HBOS在全局异常检测问题上表现良好，但不能检测局部异常值。但是HBOS比标准算法快得多，尤其是在大数据集上。

参考资料：

[1] Goldstein, M. and Dengel, A., 2012. Histogram-based outlier score (hbos):A fast unsupervised anomaly detection algorithm . InKI-2012: Poster and Demo Track, pp.59-63.

[2] http://speech.ee.ntu.edu.tw/~tlkagk/courses.html

[3] http://cs229.stanford.edu/

[4] 《Outlier Analysis》——Charu C. Aggarwal

[5] DataWhale开源学习内容：https://github.com/datawhalechina/team-learning-data-mining/tree/master/AnomalyDetection

飞翔蜗牛车

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
2021-05-14

学习目标：掌握基于统计学的异常检测的方法学习内容：1.了解基于统计学的异常检测的方法基本概念2.掌握参数和非参数方法的基本原理和概念3.学习掌握基于角度的统计分析方法4.学习掌握HBOS算法并对代码进行实现学习时间：2021年5月14日22点前完成学习产出：CSDN学习记录博客一篇文章目录前言一、pandas是什么？二、使用步骤 1.引入库 2.读入数据总结前言本文内容来源于DataWhale 5月组队...
复制链接

扫一扫