马氏距离 结合 卡方分布 异常点检测

一、定义

1.1 特点

马氏距离具有以下特点：

• 马氏距离不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关，即独立于测量尺度。采用数据预处理中的标准化和中心化等方法所获得的马氏距离相同；
• 马氏距离具有放大变化微小的变量的作用，这对于化学指纹图谱的分析而言是有利的特点；
• 马氏距离在计算中考虑了各自变量之间的线性相关关系，因此可以排除变量之间相关性的干扰；
• 马氏距离可用于鉴别离群值。一个马氏距离较大的样本必然是一个离群值；
• 应用马氏距离的前提是各自变量均应符合正态分布。

马氏距离与欧氏距离的主要区别点在于：

• 欧氏距离有量纲，将各自变量的差别同等对待；马氏距离无量纲；
• 欧氏距离不考虑变量间的相关性，马氏距离根据协方差矩阵消除了相关性；
• 如果协方差矩阵为单位矩阵，则马氏距离就简化为欧氏距离；

注意：马氏距离的平方属于卡方分布，两者结合可以用于异常点的检测

 

二、卡方分布

详细的介绍

https://baike.so.com/doc/5430887-5669177.html

下图是卡方分布表

matlab代码示例

%异常值处理
%采用马氏距离法
clc;
clear all;
 

load data0.txt %读数据


ave=mean(data0);%如果A是一个矩阵，mean(A)将中的各列视为向量，把矩阵中的每列看成一个向量，返回一个包含每一列所有元素的平均值的行向量。
[m,n]=size(data0);
%计算矩阵协方差
xfc=cov(data0);
%xfcni=inv(xfc);%计算矩阵协方差的逆

delta=zeros(m,n);
for i=1:m 
  delta(i,:)=data0(i,:)-ave(1,:);%计算样本与均值的差值
end
%deltazz=delta';%n*m,样本与均值的差值的逆

%计算马氏距离
msjl=zeros(m,1);
for i=1:m
    msjl(i,1)=delta(i,:)/xfc*(delta(i,:)');
end
s=0;
for i=1:m
    if msjl(i,1)>2.18%置信度为0.975，自由度为8，对应的卡方值
        s=s+1;
    end
end

 

三、具体应用

注意：自由度的选取