离群度量算法

zzzhpzhpzzz

已于 2023-05-03 19:56:19 修改

阅读量3.1k

点赞数 10

文章标签：算法数据挖掘自动驾驶边缘计算聚类

于 2023-05-03 19:49:04 首次发布

本文链接：https://blog.csdn.net/chuliling0446/article/details/130476139

版权

算法介绍

箱线图（Interquartile Range，IQR）

箱线图，又称为盒须图，是一种常用的数据可视化方法，用于显示数据集的统计分布情况。箱线图的构成包括最大值、最小值、中位数、上四分位数（Q3）和下四分位数（Q1）。箱线图将数据显示为一个矩形箱子，其中箱子的上下边缘表示Q3和Q1，箱子中线表示中位数，箱子的上下延伸线表示数据集中的非异常值的范围，而异常值则表示为离群点。箱线图常用于比较不同数据集之间的形态、位置和离群点情况。

3σ法则（Three Sigma Rule）

3σ法则，也称为三倍标准差法则，是一种统计学原则，用于衡量一组数据集合是否存在离群值。该方法假设数据集服从正态分布，计算数据的平均值和标准差，并确定一个阈值，即平均值加减三倍标准差的范围。如果数据点落在此范围之内，则被认为是正常的数据点；如果数据点落在此范围之外，则被认为是异常点。3σ法则可以有效地检测数据集中是否存在明显的离群值，但并不能检测出一些局部的离群值。因此，在具体应用时需要结合其他离群检测方法来进行综合分析。

马氏距离（Mahalanobis Distance）

马氏距离（Mahalanobis Distance）是一种在多元统计分析中常用的距离度量方法。它是一种带权的距离，可以反映特征数据之间的相关性。与欧式距离不同，马氏距离考虑到了数据之间的协方差矩阵，因此能够更加准确地表示不同数据之间的差异。马氏距离通常用于分类、聚类、异常值检测等问题，也被广泛应用于机器学习和模式识别等领域。

局部离群因子（Local Outlier Factor，LOF）

局部离群因子（Local Outlier Factor，LOF）是一种离群点检测算法，可以用来找出数据集中的局部离群点。该算法基于距离计算，计算每个数据点周围邻居点的密度，并将其与该点本身所在区域的密度进行比较。如果该点所在区域的密度低于周围邻居点的密度，则该点可能是一个局部离群点。LOF算法可用于各种领域，如金融、医疗、网络安全等。

ABOD离群度量算法（Angle-Based Outlier Detection）

ABOD离群度量算法（Angle-Based Outlier Detection）通过计算数据点与其他点的角度来判断其是否为离群点。该算法采用角度作为离群点的度量标准，认为离群点在所有数据点之间形成了大量的锐角或钝角。ABOD算法在处理高维数据时具有优势，并且能够处理多模式数据。它在图像处理、异常检测、安全领域等方面得到了广泛应用。

OCSVM离群度量算法（One-Class Support Vector Machine）

OCSVM离群度量算法（One-Class Support Vector Machine）是一种基于支持向量机（SVM）的离群点检测方法。OCSVM算法将正常数据与数据空间中的异常数据分开，并生成一个超平面来区分它们。OCSVM算法可以在没有异常样本的情况下进行训练，因此适用于大多数的异常检测问题。OCSVM算法在图像处理、数据挖掘、网络安全等领域得到了广泛的应用。

HBOS离群度量算法（Histogram-Based Outlier Score）

HBOS离群度量算法是一种基于直方图的离群点检测算法。该算法把数据集分成多个区间，然后计算每个区间的密度，并将其组合成一个得分来判断数据点是否为离群点。与其他算法相比，HBOS算法在处理大规模数据时效率更高，且不受数据分布的影响。该算法已被应用于金融、网络安全、医疗等领域。

COF离群度量算法（Connectivity-Based Outlier Factor）

COF离群度量算法（Connectivity-Based Outlier Factor）是一种基于密度的离群点检测算法。该算法考虑数据点之间的相对连接性，并将连接性因子应用于每个数据点，来计算其离群分数。COF算法与LOF算法类似，但COF算法计算数据点之间的连接性，而LOF算法只考虑数据点周围邻居点的密度。COF算法在许多领域中应用广泛，如网络安全、工业制造、癌症诊断等。

KNN离群度量算法（K-Nearest Neighbor）

对数损失函数（Logarithmic Loss Function）

对数损失函数是一种常用的度量分类模型性能的方法，也可以用作离群度量（outlier measurement）。它可以衡量模型预测结果与真实结果之间的距离，用于评估模型的预测准确性。对数损失函数的值越小，模型的性能越好。如果数据集中存在离群值，对数损失函数可以识别这些离群值，并将它们的权重考虑在内。因此，对数损失函数可以用作一种有效的离群度量方法。

多维核密度估计（Multidimensional Kernel Density Estimation）

多维核密度估计是一种常用的非参数概率密度估计方法，可以用于估计多元连续随机变量的概率密度函数（PDF）。它可以通过在数据点周围放置核并对核密度进行加权平均来估计PDF。其中核是一个形状函数，通常为高斯分布函数或Epanechnikov分布函数。多维核密度估计可以用来分析数据的分布情况，发现数据中的异常点或离群值，并在聚类、分类和异常检测等领域中得到广泛应用。

基于子空间的离群检测（Subspace Outlier Detection）

基于子空间的离群检测是一种常见的离群检测方法，特别适用于高维数据的离群检测。该方法基于假设，即正常数据点通常集中在低维子空间中，而离群值通常位于不同的子空间中。因此，该方法旨在将高维数据映射到低维子空间中，并在该子空间中检测离群值。这可以通过主成分分析和奇异值分解等技术来实现。基于子空间的离群检测已被广泛用于图像和视频处理、异常检测和金融风险管理等领域。

基于聚类的离群检测（Cluster-Based Outlier Detection）

基于聚类的离群检测是一种常见的离群检测方法，它通过将数据点分为不同的聚类来识别离群值。该方法假设数据集中的离群值与正常数据点所在的聚类中心相距较远，因此可以通过距离度量来判断数据点是否为离群值。具体实现上，该方法可采用K-means、DBSCAN等聚类算法来将数据点分为多个聚类，然后通过计算数据点与聚类中心之间的距离来判断其是否为离群值。基于聚类的离群检测能够发现局部离群值、高维数据和噪声点，应用广泛，在网络安全、金融诈骗等领域取得了良好的效果。

基于深度学习的离群检测（Deep Learning-Based Outlier Detection）

基于深度学习的离群检测是使用深度神经网络来检测异常值的一种方法。传统的基于规则、统计模型和聚类的方法是基于特征选择和人工设计的特征，而深度学习则是基于数据进行特征学习和表示学习，这使得它对于高维度和复杂数据的离群检测更有效。其中，自编码器是一种常见的深度学习模型，它通过将输入数据压缩为低维的表示，再通过解码器将压缩后的数据重建为原始数据。因为该模型需要高度压缩的表达才能重建输入，因此它能捕捉到数据中的异常和离群点。同时，由于深度学习需要大量的数据和计算资源，因此该方法在数据量较大，计算资源充足的场景中有相对优势。

稀疏编码离群检测（Sparse Coding-Based Outlier Detection）

稀疏编码离群检测是一种基于稀疏编码的离群检测方法，它通过将输入数据表示为稀疏线性组合的形式来检测异常值。该方法的基本思想是，正常数据可以被表示为少量的基向量的稀疏线性组合，而离群值则很难被用少量的基向量表示。因此，将输入数据解析为基向量的稀疏线性组合，如果计算得到的稀疏系数可以从标准正态分布中采样得到，那么就认为这个数据点是正常的。否则，就认为这个数据点是离群的。稀疏编码离群检测在图像、文本和语音处理领域中得到了广泛应用。

基于稳定性选择的离群检测（Stability Selection-Based Outlier Detection）

基于稳定性选择的离群检测是一种通过对原始数据进行随机抽样和特征选择来检测离群值的方法。稳定性选择旨在通过多次重复执行随机抽样和特征选择来确定哪些特征在一定程度上稳定地被选择，以识别离群值。该方法先用随机抽样方法生成一些子样本，然后对每个子样本进行特征选择，并记录每个特征在所有子样本中被选择的频率。最后，将这些频率组合起来，根据频率高低来确定哪些特征是关键特征。基于稳定性选择的离群检测可以发现不同形状和大小的离群值，并且对于高维数据也比较有效。该方法已被广泛应用于文本挖掘、图像处理和金融风险管理等领域。

基于梯度的离群检测（Gradient-Based Outlier Detection）

基于梯度的离群检测是一种基于梯度的异常检测方法，它是一种无监督的方法，能够自动地从数据中检测异常点。该方法首先通过梯度方法对输入数据进行特征提取，然后使用特征向量来标记离群值。梯度方法通常采用小批量随机梯度下降或Adam等优化算法来学习数据中的梯度模式，然后根据梯度模式来判断数据是否为离群值。该方法适用于高维数据和非线性数据，并且不需要任何先验知识或训练数据，因此在处理一些没有标签数据或标签数据有限的场景中特别有用。

基于分层聚类的离群检测（Hierarchical Clustering-Based Outlier Detection）

基于分层聚类的离群检测是一种将数据点作为叶节点聚合成二叉树形状的聚类方法，通过不断合并聚类来识别离群值。在分层聚类的过程中，通常采用一些距离度量来度量数据点之间的相似度，然后通过自底向上或自顶向下的方式不断进行聚类。当出现一些较小的聚类并且它们的距离较远时，就可以将这些聚类中的数据点认为是离群值。基于分层聚类的离群检测可以用于发现数据中的不同规模的离群值，但通常不能处理高维数据和非线性数据。

基于深度生成模型的离群检测（Deep Generative Model-Based Outlier Detection）

基于深度生成模型的离群检测是一种通过训练深度生成模型来检测异常数据的方法。深度生成模型通常采用对抗生成网络、变分自编码器或生成对抗网络等算法来生成新的数据样本。训练好的深度生成模型，可以用来对新的数据样本进行采样，并通过与已有数据进行比较来判断其是否为离群值。该方法可以自动地从数据中学习生成模式，并从中发现离群值。同时，该方法可以处理高维数据和非线性数据，并且具有较高的检测精度。