语言计算欧氏距离_用 SVD 修改马氏距离及其应用

最新推荐文章于 2023-12-07 09:50:12 发布
最新推荐文章于 2023-12-07 09:50:12 发布
阅读量430 收藏
点赞数
文章标签： 语言计算欧氏距离
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_28820113/article/details/112672853
版权
本文探讨了马氏距离、高斯分布和SVD之间的关系，通过实例展示了如何使用SVD计算马氏距离，并用于异常值检测。手动计算和R内置函数得出一致结果，同时提出了修改算法以更精确地识别异常点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

89172612b027b39dd142934d6cc85608.png

马氏距离(Mahalanobis distance)、高斯分布、奇异值分解(SVD)以及主成分分析(PCA)有内在联系。本文用一个简单的示例来揭示这层联系并且掌握它的实际应用。

1装备

library(ggplot2)
library(ggthemes)
c(R.version$os, R.Version()$version.string)

  1. 'linux-gnu'

  2. 'R version 3.6.1 (2019-07-05)'

2数据和内置函数

假设我们采集了一批共 16 个人的身高、体重数据，先把它们放入一个数据框。

hw 164, 167, 168, 169, 169, 170, 170, 170, 171, 172, 172, 173, 173, 175, 176, 178),
                 Weight.kg=c( 54,  57,  58,  60,  61,  60,  61,  62,  62,  64,  62,  62,  64,  56,  66,  70))

首先，我们先用最简单的方法来检测离群值。将那些离平均身高或平均体重超过两个标准差的点标记为离群值/异常值。

is.height.outlier  2
is.weight.outlier  2
pch               16
plot(hw, col=c("#56B4E9"), pch=pch)

e492eae09fc9f0040a75eaf4ca9ff0df.png

上图中实心点是所谓的异常值，然而，(175,56) 这个人明显偏瘦，直觉上很明显它应该是个异常值，可是上面的方法并没有检测出来。从散点图也可以看出来它偏离了正常点。

为了能够把它检测出来，我们不妨换个思路。换什么呢？换距离的计算方式。

我们先用 R 语言内置的计算马氏距离的函数 mahalanobis 来求解。

# 将离中心马氏距离最大的 3 个点选出来作为异常值
n.outliers   3 
m.dist.order TRUE)
is.outlier   FALSE, nrow(hw))
is.outlier[m.dist.order[1:n.outliers]] TRUE
pch 16
plot(hw, col=c("#56B4E9"), pch=pch)

e19a13595998fd0bad5a47f4cbb391be.png

上图中实心的三个点被当作异常值，终于把那个离群点找出来啦。我们来看看内置函数计算出来的 16 个马氏距离到底是多少。

md md

4.28192150772506

1.42890278811573

0.817645979562166

0.391759215459851

0.716013317982929

0.104756509429368

0.168876910394913

0.541756085090398

0.115869320988084

0.70286576627966

0.0713659019290032

0.408245827913156

0.519478289148748

12.4242733195133

2.04308127482557

5.26318798564204

发现没有，那个点的马氏距离确实是最大的，换句话说，它是最不合群的，这完全符合我们的直觉。

下面用本人最爱的 ggplot2 来展示一下上面检测到的异常值。

hw$isoutlier # 看看最后三行
tail(hw,3)
Height.cmWeight.kgisoutlier
1417556TRUE
1517666FALSE
1617870TRUE
sp       geom_point(size = 2) +
      theme_economist() + 
      stat_ellipse(geom="polygon", aes(fill = isoutlier), alpha = 0.25, show.legend = FALSE, level = 0.95) 

sp + scale_color_manual(values=c("#56B4E9", "#fF5600"))
016968fcae7d673e1e0add0a3ec145e8.png

3手动计算马氏距离

马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(Mahalanobis)提出的，表示点与一个数据分布之间的距离。该数据分布的特征在于均值和协方差矩阵，因此被假设为多元高斯模型。协方差矩阵给出了数据在特征空间中分布的形状。

我们熟悉的欧氏距离有时有明显的缺点。它将样品的不同特征之间的差别等同看待，这一点有时不能满足实际要求。例如，在教育研究中，经常遇到对人的分析和判别，个体的不同属性对于区分个体有着不同的重要性。

因此，为了考虑不同特征的不同重要性，需要考虑协方差。下面我们直接从公式入手。已知矩阵的奇异值分解，，那么可以用 SVD 分解计算协方差矩阵，

从而协方差矩阵的逆为，

点 离中心 的马氏距离计算如下，

其中，。这里可以理解为坐标 往各个主方向 上投影后得 ，再计算加权内积。

注意，最后算出来的距离我们不开方，主要是为了跟 R 中内置马氏距离的计算保持一致。

.直接计算协方差矩阵

直接调用 R 内置的求协方差矩阵的函数 cov 以及 solve 函数来求逆矩阵，很容易得到跟内置马氏距离一样的结果。

X 
mhlbs function(X){
    X_m F)
    cov_mat     cov_mat_inv     md % cov_mat_inv %% t(X_m)
    return(diag(md))
    }
md = mhlbs(X)
md

4.28192150772506

1.42890278811573

0.817645979562166

0.391759215459851

0.716013317982929

0.104756509429368

0.168876910394913

0.541756085090398

0.115869320988084

0.70286576627966

0.0713659019290032

0.408245827913156

0.519478289148748

12.4242733195133

2.04308127482557

5.26318798564204

.用 SVD 计算协方差矩阵

下面我们调用函数 SVD 来计算奇异值分解，再用右奇异向量和奇异值计算协方差矩阵的逆矩阵，最后求解马氏距离。

mhlbs_ function(X){
    X_m F)
    duv     m = nrow(X_m)-1
    W_inv % diag(c(duv$d[1]^-2, duv$d[2]^-2)m) %*% t(duv$v) 

    md % W_inv %% t(X_m)
    return(diag(md))
    }
md = mhlbs_(X)
md

4.28192150772506

1.42890278811573

0.817645979562166

0.391759215459851

0.716013317982929

0.104756509429368

0.168876910394913

0.541756085090398

0.115869320988084

0.70286576627966

0.0713659019290032

0.408245827913156

0.519478289148748

12.4242733195133

2.04308127482557

5.26318798564204

没问题，计算结果也完全一致。

.改写异常值检测算法

上面例子中，除了马氏距离最大的那个离群点外，排在后面的两个点其实从身高体重的线性关系来看很正常啊，一定意义上来说不应该算作异常点。那么我们如何进一步修改距离的计算方式呢？

仔细观察马氏距离的计算公式，其实这里跟主成分分析(PCA)也有一定联系，相当于各个主方向上的度量不同(拉到文章开头看那个图片)。不妨这样想，沿上面第一个主方向上的延展不能算作异常，但是沿着垂直它的方向上可以认为是偏离航道了。因此，我们可以抛开第一个主方向，从第二个主方向来计算距离。

我们将第一个奇异值直接设成 0，这样相当于在计算距离的时候只考虑在第二个主方向上投影了。

mhlbs_v function(X){
    X_m F)
    duv     m = nrow(X_m)-1
    W_inv % diag(c(0, duv$d[2]^-2)m) %*% t(duv$v) 

    md % W_inv %% t(X_m)
    return(diag(md))
    }
md = mhlbs_v(X)
md

0.113077461308034

0.0303515411319775

0.0144478656822281

0.183201236142446

0.623876699037339

0.000147961696133197

0.139877849888957

0.541461970704508

0.102390279273269

0.394139960952248

0.00919132026124367

0.261865093668431

0.0449225849552972

12.3515068432501

0.0973078250450808

0.0922335070027004

可以看到，此时那个离群点真的鹤立鸡群了，人群中一眼就能揪出来了吧。我们这里简单点，用平均值就能把这个点分割出来。

md > mean(md)

FALSE

FALSE

FALSE

FALSE

FALSE

FALSE

FALSE

FALSE

FALSE

FALSE

FALSE

FALSE

FALSE

TRUE

FALSE

FALSE

hw$isoutlier  mean(md)
# 看看最后三行
tail(hw,3)
Height.cmWeight.kgisoutlier
1417556TRUE
1517666FALSE
1617870FALSE
sp       geom_point(size = 2) +
      theme_economist() + 
      stat_ellipse(geom="polygon", aes(fill = isoutlier), alpha = 0.25, show.legend = FALSE, level = 0.95) 

sp + scale_color_manual(values=c("#56B4E9", "#fF5600"))

5d3c5515fb696c74e2b215e813403386.png

.其他应用

还根据马氏距离作判别问题，即假设有 n 个总体，计算某个样品 X 归属于哪一类的问题。此时虽然样品 X 离某个总体的欧氏距离最近，但是未必归属它，比如该总体的方差很小，说明需要非常近才能归为该类。对于这种情况，马氏距离比欧氏距离更适合作判别。

4a881d1e410d78d7b56031fff10a416d.png

.缺点

但是请注意，如果所考虑的数据集中变量之间的关系是非线性的，那么用马氏距离也可能检测不到最明显的异常值。如下面例子，

my.dataframe 4,  8, 10, 16, 17, 22, 27, 33, 38, 40, 47, 48, 53, 55, 63, 71, 76, 85, 85, 92, 96),
                           y=c(6, 22, 32, 34, 42, 51, 59, 63, 64, 69, 70, 20, 70, 63, 63, 55, 46, 41, 33, 19,  6))
percentage.of.outliers        10 # Mark 10% of points as outliers
number.of.outliers            100)
m.dist                        m.dist.order                  TRUE)
rows.not.outliers             1):nrow(my.dataframe)]
is.outlier                    TRUE, nrow(my.dataframe))
is.outlier[rows.not.outliers] FALSE
pch                           16
plot(x=my.dataframe$x, y=my.dataframe$y, col=c("#56B4E9"), pch=pch)

be2b19b8b961bcdb2797d5f59631cff9.png

本篇使用了 R 语言，但如果要用 Python 来改写也很方便，有兴趣的话可以照着上面代码改一改。

⟳参考资料⟲

[1]

Matrix Algebra: https://www.statmethods.net/advstats/matrix.html

[2]

Peter Rosenmai: https://eurekastatistics.com/using-mahalanobis-distance-to-find-outliers/

.相关阅读

如何像数学系同学那样入门概率论？

R 与 Python 双语解读统计分析基础

71ac65728d2c12e2dbb9f06f08129896.png

小岑兄
关注
matlab 马氏距离 实例,MATLAB求马氏距离(Mahalanobis distance)
weixin_35261775的博客
03-16 2546
MATLAB求马氏距离(Mahalanobis distance)1.马氏距离计算公式d2(xi,xj)=(xi-xj)TS-1(xi-xj)其中，S是总体的协方差矩阵，而不是样本的协方差矩阵。2.matlab中现有的函数>> x=[155 66;180 71;190 73;160 60;190 68;150 58;170 75]x =155 66180 71190 ...
python使用欧式距离_Python中两个向量欧氏距离的求法
weixin_36047753的博客
02-03 1901
我有这个数据：我只是测试了5个条目，但它比第一个条目大得多。我试图得到经纬度的欧几里得距离。当我简单地使用纬度和经度作为向量时，我的方法是有效的，但是当我创建一个函数来做它时，由于某些原因，我得到了完全不同的结果。在例如，当我这样做时：D = np.zeros((len(x), len(y)))for i in range(len(x)):for j in range(len(y)):D[i][j...
马氏距离概要及MATLAB实现
08-12
马氏距离的简要概述及其MATLAB实现 MATLAB具体实现代码
马氏距离的matlaB实现
04-07
马氏距离的matlaB实现 源代码
机器学习 -- > 检测异常样本方法总结
村头陶员外的博客
08-18 1万+
数据预处理的好坏，很大程度上决定了模型分析结果的好坏。 其中，异常值（outliers）检测是整个数据预处理过程中，十分重要的一环。方法也是多种多样。由于异常值检验，和去重、缺失值处理不同，它带有一定的主观性。在实际业务场景中，我们要根据具体的业务逻辑来判别哪些样本是离群点，下面我总结几个比较常用，通用的异常值检测方法。可视化的方法画出样本集某一个特征而言，可以直接画出这个样本集在这个特征上值的分
掌握马氏距离：代码实现与样本集相似度分析
马氏距离（Mahalanobis Distance）是多元统计分析中一个非常重要的概念，由印度...代码文件"mashi.m"很可能包含了使用MATLAB语言编写的马氏距离计算方法，其中的实现细节和应用需要用户根据具体需求进行操作和分析。
python使用马氏距离结合FPCA降维对k-means聚类方法中求欧氏距离的部分进行优化，并使用这种优化后的代码将函数型数据进行聚类代码
06-02
下面给出使用马氏距离结合FPCA降维对 k-means 聚类方法中求欧氏距离的部分进行优化，并使用这种优化后的代码将函数型数据进行聚类的 Python 代码： ```python from skfda import FDataGrid from skfda.ml....
kNN.zip_k_近邻算法_knn
09-23
4. **马氏距离(Mahalanobis Distance)**：考虑了特征间的相关性，对异常值更敏感。 ### 类别权重 在分类时，为了处理类别不平衡的情况，可以给不同类别的邻居赋予不同的权重。常见的策略是**距离权重**，即距离越...
向量距离、随机变量相关性与概率分布的差异度量
tunghao的博客
09-22 958
常见距离与相似度度量 欧氏距离 定义在两个向量（两个点）上：点x\mathbf{x}x和点y\mathbf{y}y的欧氏距离为： dEuclidean=(x−y)⊤(x−y) d_{Euclidean}=\sqrt{(\mathbf{x}-\mathbf{y})^\top (\mathbf{x}-\mathbf{y})} dEuclidean​=(x−y)⊤(x−y)​ 曼哈顿距离 Manhattan Distance（L1范数），也称为城市街区距离（City Block distance）。 定义在两个
距离度量完整版
机器学习算法与Python学习
07-18 4108
距离度量 距离度量 常见距离与相似度度量 欧氏距离 闵可夫斯基距离 马氏距离 互信息 余弦相似度 皮尔逊相关系数 Jaccard相关系数 概率分布的距离度量 KL散度 JS距离 MMD距离 Principal angle HSIC Earth Mover’s Distance References 常见距离与相似度度量 欧氏距离 定义在两个向量（两...
机器学习应用 | 使用 MATLAB 进行异常检测（下）
最新发布
r1832644594的博客
12-07 2353
马氏距离可以理解为是对欧式距离的一种修正，假设，下图中蓝色点和黄色点离样本均值的欧式距离相近，但是由于样本整体分布沿 f(x)=x 的方向分布（变量之间具有相关性），蓝色点更有可能是数据集中的点，对应的马氏距离更小，而黄色点更有可能是离群值，对应马氏距离也更大。综上，各个方法的适用范围不一，或是有特定的使用条件，在使用时需要多加留意，例如马氏距离适合符合正态分布假设的数据集，孤立森林适用于处理正常样本和异常样本差异较大的情况，各个算法计算复杂度有些许区别，可以根据实际情况选择合适的方法。
R语言-异常数据处理2
weixin_30868855的博客
05-23 503
在R中进行基于稳健马氏距离的异常检验 前言   我们研究的数据中经常包含着一些不同寻常的样本，这称之为异常值(Outlier)。这些异常值会极大的影响回归或分类的效果。异常值产生的原因有很多，其中可能是人为错误、数据测量误差，或者是实际确实存在这样的异常。为了使模型能够反映大部分数据的规律，所以在数据预处理阶段要进行异常值检测，为下一步分析奠定基础。还有一类情况是，当研究人员希望发现不平凡的事物时...
scikit-learn奇异值和异常值检测
豆芽菜
06-06 1099
判断新观测值是否与现有观测值具有相同的分布(它是一个内点(inlier))，或者应该被认为是不同的（它是一个离群值）。离群点检测和奇异值检测都用于异常检测, 其中一项感兴趣的是检测异常或异常观察。离群点检测又被称之为无监督异常检测，奇异值检测又被称之为半监督异常检测。在。相反的，在奇异值检测的背景下，奇异值/异常点只要位于训练数据的低密度区域，是可以形成稠密聚类簇的，在此背景下被认为是正常的。scikit-learn项目提供了一组机器学习工具，可用于新颖性或离群值检测。然后可以使用以下predict。
ggplot2颜色设置
热门推荐
常玉俊bioinfo
08-22 8万+
@Date: 2017-08-22 10:09:44手动指定颜色及顺序 改变颜色的透明度 直接改变调色板 其它颜色及调色板相关信息 默认调色板 参考文献 利用R语言画图时经常用到不同的颜色，如何手动设置不同的颜色呢并且指定颜色顺序呢？一般自动颜色都是利用fill或者color参数指定，这种时候需要改变fill或者color调用的调色板，主要方法有以下两种。1. 手动指定颜色及顺序ggplot2涉及到
机器学习-白板推导学习笔记-2高斯分布
gigglehuahua的博客
01-28 757
​ 本篇文章是根据视频（link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。 一维高斯分布 设Data为，且服从高斯分布，即。对应的概率密度函数为： ​
利用python可视化散点图及其计算欧式距离分析相关性
yooppa的博客
11-17 902
matplotib
杨桃的Python机器学习6——kNN算法1：欧氏距离公式
yty_7的专栏
04-12 2621
本人CSDN博客专栏：https://blog.csdn.net/yty_7 Github地址：https://github.com/yot777/ 散点图的直观解决思路：更近 回到上一节：杨桃的Python机器学习5，我们最终得到了如下的散点图： 蓝色的点（标签为1）似乎都集中在图的左下部分，橙色的点（标签为0）似乎都集中在图的右上部分。 我们在散点图上再增加两个点A和B，想...
计算23个11维数据的欧氏距离(Python)
hey
07-18 5592
用python计算23个11维数据的欧氏距离 #!/usr/bin/env python # -*- coding: utf-8 -*- import pandas as pd data=pd.read_csv(r'E:\7 Python\data\20170713\quanguo.csv') print data import numpy as np mydis_ed=[] for i
基于欧式距离分类问题的数据标准化处理
wlfw19的博客
05-01 4524
机器学习中的分类模型，有一些是基于欧式距离的，如K-means模型。当样本的特征较多时，即使上万的数据分布在较高维数空间中，其样本仍会显得比较稀疏。为了不使得样本间的距离过大，需要对数据进行标准化处理。而通常scikit-learn中自带的标准化包是StandardScaler，其是针对每个特征的标准化处理，将每维特征数据转化为均指为0，标准差为sigma的数据。但是即使是对特征进行标准化，仍会有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值