范数和距离

范数(norm)是数学中的一种基本概念。满足一定的条件，即

①非负性；||X||>=0

②齐次性；||aX||=|a| ||X||

③三角不等式。||X+Y||<=||X||+||Y||

它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。

范数包括向量范数和矩阵范数，向量范数用来表示向量的大小，矩阵范数表示矩阵引起变化的大小，比如AX=B，X经过A矩阵变换变成B，矩阵范数就是来衡量这个变化的大小。

1.向量范数

最常用的范数就是Lp-范数。若，那么

当p取0,  的时候分别是以下几种最简单的情形：

0-范数：L₀(x)为向量中非零元素的个数

1-范数：║x║₁=L₁(x)=│x₁│+│x₂│+…+│x_n│

2-范数（Euclid范数（欧几里得范数）：║x║₂=L₂(x)=（│x₁│²+│x₂│²+…+│x_n│₂）^1/2

∞-范数：║x║_∞=L_∞(x)=max（│x₁│，│x₂│，…，│x_n│）

-∞-范数:║x║_-∞=L_-∞(x)=min（│x₁│，│x₂│，…，│x_n│）

2.矩阵范数

1-范数： 

列和范数，即所有矩阵列向量绝对值之和的最大值，matlab调用函数norm(A, 1)。

2-范数：

谱范数，即A'A矩阵的最大特征值的开平方。matlab调用函数norm(x, 2)。

∞-范数：

行和范数，即所有矩阵行向量绝对值之和的最大值，matlab调用函数norm(A, inf)。

F-范数：

Frobenius范数，即矩阵元素绝对值的平方和再开平方，matlab调用函数norm(A, 'fro')。

3.距离

闵可夫斯基距离(Minkowski Distance)对应L-p范数，代表一组距离，，给定样本

x₁=(x₁₁,x₁₂,…,x_1n)与 x₂₌(x₂₁,x₂₂,…,x_2n),公式定义如下:

其中p是一个变参数。

当p=1时，就是曼哈顿距离，也称街区距离，对应L-1范数

当p=2时，就是欧氏距离，对应L-2范数

当p→∞时，就是切比雪夫距离，对应L∞范数，两个向量x₁， x_2的切比雪夫距离为d =max(|x_1i - x_2i|)         

Mahalanobis距离：也称作马氏距离。在近邻分类法中，常采用欧式距离和马氏距离。

马氏距离又称为数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。

假设ux为向量X={x1,x2,...,xN}的均值，uy为Y={y1,y2,...yN}的均值，Σ 是X与Y的协方差 

点X与Y的马氏距离为：

             

参考博客：点击打开链接https://blog.csdn.net/jack_20/article/details/72896459

      点击打开链接https://blog.csdn.net/gongem/article/details/51131397

      点击打开链接https://blog.csdn.net/Kevin_cc98/article/details/73742037