异常检测——高维数据异常检测

最新推荐文章于 2024-05-24 01:13:39 发布

mengzhongjack

最新推荐文章于 2024-05-24 01:13:39 发布

阅读量205

点赞数

分类专栏： python tip 文章标签： python 机器学习人工智能算法

本文链接：https://blog.csdn.net/huochuangchuang/article/details/113101461

版权

本文介绍了高维数据异常检测中的Feature Bagging和Isolation Forests方法。Feature Bagging利用集成方法降低方差，通过特征组合减少异常检测的不确定性。Isolation Forests是一种高效异常检测算法，利用随机划分策略快速隔离异常点。这两种方法在处理高维数据时具有优势，但Isolation Forests不适用于超高维数据。

摘要由CSDN通过智能技术生成

主要内容包括：

Feature Bagging
孤立森林

文章目录

1、引言

在实际场景中，很多数据集都是多维度的。随着维度的增加，数据空间的大小（体积）会以指数级别增长，使数据变得稀疏，这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战，对距离的计算，聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性，但是，在高维空间中，所有点对的距离几乎都是相等的（距离集中），这使得一些基于距离的方法失效。在高维场景下，一个常用的方法是子空间方法。

集成是子空间思想中常用的方法之一，可以有效提高数据挖掘算法精度。集成方法将多个算法或多个基检测器的输出结合起来。其基本思想是一些算法在某些子集上表现很好，一些算法在其他子集上表现很好，然后集成起来使得输出更加鲁棒。集成方法与基于子空间方法有着天然的相似性，子空间与不同的点集相关，而集成方法使用基检测器来探索不同维度的子集，将这些基学习器集合起来。

下面来介绍两种常见的集成方法：

2、Feature Bagging

Feature Bagging，基本思想与bagging相似，只是对象是feature。feature bagging属于集成方法的一种。集成方法的设计有以下两个主要步骤：

1.选择基检测器。这些基本检测器可以彼此完全不同，或不同的参数设置，或使用不同采样的子数据集。Feature bagging常用lof算法为基算法。下图是feature bagging的通用算法：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Mb6YMoDa-1611510884509)(https://github.com/datawhalechina/team-learning-data-mining/raw/master/AnomalyDetection/img/image-20210104144520790.png)]

2.分数标准化和组合方法：不同检测器可能会在不同的尺度上产生分数。例如，平均k近邻检测器会输出原始距离分数，而LOF算法会输出归一化值。另外，尽管一般情况是输出较大的异常值分数，但有些检测器会输出较小的异常值分数。因此，需要将来自各种检测器的分数转换成可以有意义的组合的归一化值。分数标准化之后，还要选择一个组合函数将不同基本检测器的得分进行组合，最常见的选择包括平均和最大化组合函数。

下图是两个feature bagging两个不同的组合分数方法：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wohP9zti-1611510884513)(https://github.com/datawhalechina/team-learning-data-mining/raw/master/AnomalyDetection/img/image-20210105140222697-1609839336763.png)]

(广度优先)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-i26ssjvd-1611510884516)(https://github.com/datawhalechina/team-learning-data-mining/raw/master/AnomalyDetection/img/image-20210105140242611.png)]

（累积求和）

基探测器的设计及其组合方法都取决于特定集成方法的特定目标。很多时候，我们无法得知数据的原始分布，只能通过部分数据去学习。除此以外，算法本身也可能存在一定问题使得其无法学习到数据完整的信息。这些问题造成的误差通常分为偏差和方差两种。

方差：是指算法输出结果与算法输出期望之间的误差，描述模型的离散程度，数据波动性。

偏差：是指预测值与真实值之间的差距。即使在离群点检测问题中没有可用的基本真值

3、Isolation Forests

孤立森林（Isolation Forest）算法是周志华教授等人于2008年提出的异常检测算法，是机器学习中少见的专门针对异常检测设计的算法之一，方法因为该算法时间效率高，能有效处理高维数据和海量数据，无须标注样本，在工业界应用广泛。

孤立森林属于非参数和无监督的算法，既不需要定义数学模型也不需要训练数据有标签。孤立森林查找孤立点的策略非常高效。假设我们用一个随机超平面来切割数据空间，切一次可以生成两个子空间。然后我们继续用随机超平面来切割每个子空间并循环，直到每个子空间只有一个数据点为止。直观上来讲，那些具有高密度的簇需要被切很多次才会将其分离，而那些低密度的点很快就被单独分配到一个子空间了。孤立森林认为这些很快被孤立的点就是异常点。

用四个样本做简单直观的理解，d是最早被孤立出来的，所以d最有可能是异常。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p19QtE7j-1611510884520)(h