范数概念

最新推荐文章于 2024-08-08 22:42:03 发布

莫失_莫忘

最新推荐文章于 2024-08-08 22:42:03 发布

阅读量4.1k

点赞数 1

分类专栏：数学文章标签：范数

数学专栏收录该内容

3 篇文章 0 订阅

订阅专栏

一、向量范数

1 范数-Norm- the concept

向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。

向量的范数定义：向量的范数是一个函数||x||, 满足:

非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。

常用的向量的范数：
L1范数: ||x|| 为x向量各个元素绝对值之和。
L2范数: ||x||为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数或者Frobenius范数
Lp范数: ||x||为x向量各个元素绝对值p次方和的1/p次方

L∞范数: ||x||为x向量各个元素绝对值最大那个元素的绝对值，如下：

椭球向量范数: ||x||A = sqrt[T(x)Ax]， T(x)代表x的转置。定义矩阵C 为M个模式向量的协方差矩阵，设C’是其逆矩阵，则Mahalanobis距离定义为||x||C’ = sqrt[T(x)C’x], 这是一个关于C’的椭球向量范数。

2 距离-Distance-Concept

欧式距离（对应L2范数）：最常见的两点之间或多点之间的距离表示法，又称之为欧几里得度量，它定义于欧几里得空间中。 n维空间中两个点x1(x11,x12,…,x1n)与 x2(x21,x22,…,x2n)间的欧氏距离：

也可以用表示成向量运算的形式：

曼哈顿距离：曼哈顿距离对应L1-范数，也就是在欧几里得空间的固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和。例如在平面上，坐标（x1, y1）的点P1与坐标（x2, y2）的点P2的曼哈顿距离为：，要注意的是，曼哈顿距离依赖座标系统的转度，而非系统在座标轴上的平移或映射。

切比雪夫距离，若二个向量或二个点x1和x2，其坐标分别为(x11, x12, x13, ... , x1n)和(x21, x22, x23, ... , x2n)，则二者的切比雪夫距离为：d = max(|x1i - x2i|)，i从1到n。对应L∞范数。

闵可夫斯基距离(Minkowski Distance)，闵氏距离不是一种距离，而是一组距离的定义。对应Lp范数，p为参数。

闵氏距离的定义：两个n维变量（或者两个n维空间点）x1(x11,x12,…,x1n)与 x2(x21,x22,…,x2n)间的闵可夫斯基距离定义为：

其中p是一个变参数。

当p=1时，就是曼哈顿距离，

当p=2时，就是欧氏距离，

当p→∞时，就是切比雪夫距离，

根据变参数的不同，闵氏距离可以表示一类的距离。

Mahalanobis距离：也称作马氏距离。在近邻分类法中，常采用欧式距离和马氏距离。

参考资料：http://blog.csdn.net/v_july_v/article/details/8203674

二、矩阵范数

定义矩阵范数：

一个在M*N的矩阵上的矩阵范数(matrix norm)是一个从 M*N线性空间到实数域上的一个函数，记为||.||，它

对于任意的M*N矩阵A和B及所有实数a，满足以下四条性质：

||A||>=0;
||A||=0 iff A=O （零矩阵）; （1和2可统称为正定性）
||aA||=|a| ||A||; （齐次性）
||A+B||<= ||A|| + ||B||. （三角不等式）

在一些教科书上定义的矩阵范数是对于N*N阶矩阵的，这种定义往往要求矩阵满足相容性，即

5.||AB||<=||A|| ||B||. （相容性）

在本文中，对于矩阵范数的定义仅要求前4条性质，而满足第5个性质的矩阵范数称为服从乘法范数（sub-

multiplicative norm）

一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。所以矩阵范数通常也称为相容范数。　如果║·║α是相容范数，且任何满足║·║β≤║·║α的范数║·║β都不是相容范数，那么║·║α称为极小范数。对于n阶实方阵(或复方阵)全体上的任何一个范数║·║，总存在唯一的实数k>0，使得k║·║是极小范数。

注：如果不考虑相容性，那么矩阵范数和向量范数就没有区别，因为m*n矩阵全体和m*n维向量空间同构。引入相容性主要是为了保持矩阵作为线性算子的特征，这一点和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。

诱导范数

把矩阵看作线性算子，那么可以由向量范数诱导出矩阵范数　║A║ = max{║Ax║:║x║=1}= max{║Ax║/║x║: x≠0} ，它自动满足对向量范数的相容性　║Ax║ ≤ ║A║║x║，　并且可以由此证明　║AB║ ≤ ║A║║B║。

注：1.上述定义中可以用max代替sup是因为有限维空间的单位闭球是紧的(有限开覆盖定理)，从而上面的连续函数可以取到最值。

2.显然，单位矩阵的算子范数为1。

常用的三种p-范数诱导出的矩阵范数是：

1-范数：║A║1 = max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| } (列和范数，A每一列元素绝对值之和的最大值)　(其中∑|ai1|第一列元素绝对值的和∑|ai1|=|a11|+|a21|+...+|an1|,其余类似)；

2-范数：║A║2 = A的最大奇异值 = ( max{ λi(A^H*A) } ) ^{1/2} (欧几里德范数,谱范数,即A^H*A 特征值λi中最大者λ1的平方根，其中A^H为A的转置共轭矩阵)；

∞-范数：║A║∞ = max{ ∑|a1j|, ∑|a2j| ,..., ∑|amj| } (行和范数，A每一行元素绝对值之和的最大值)　(其中为∑|a1j| 第一行元素绝对值的和，其余类似)；

其它的p-范数则没有很简单的表达式。

对于p-范数而言，可以证明║A║p=║A^H║q，其中p和q是共轭指标。

简单的情形可以直接验证：║A║1=║A^H║∞，║A║2=║A^H║2，一般情形则需要利用║A║p=max{y^H*A*x：║x║p=║y║q=1}。

非诱导范数

有些矩阵范数不可以由向量范数来诱导，比如常用的Frobenius范数(也叫Euclid范数，简称F-范数或者E-范数)：║A║F= ( ∑∑ aij^2 )^1/2 (A全部元素平方和的平方根)。容易验证F-范数是相容的，但当min{m,n}>1时F-范数不能由向量范数诱导(||E11+E22||F=2>1)。可以证明任一种矩阵范数总有与之相容的向量范数。例如定义　║x║=║X║，其中X=[x,x,…,x]是由x作为列的矩阵。由于向量的F-范数就是2-范数，所以F-范数和向量的2-范数相容。

另外还有以下结论：　║AB║F <= ║A║F ║B║2 以及 ║AB║F <= ║A║2 ║B║F

1、矩阵的谱半径和范数的关系

定义：A是n阶方阵，λi是其特征值，i=1,2,…,n。则称特征值的绝对值的最大值为A的谱半径，记为ρ(A)。　注意要将谱半径与谱范数(2-范数)区别开来，谱范数是指A的最大奇异值，即A^H*A最大特征值的算术平方根。谱半径是矩阵的函数，但不是矩阵范数。

2、谱半径和范数的关系是以下几个结论：

定理1：谱半径不大于矩阵范数，即ρ(A)≤║A║。

因为任一特征对λ,x,Ax=λx，可得Ax=λx。两边取范数并利用相容性即得结果。

定理2：对于任何方阵A以及任意正数e，存在一种矩阵范数使得║A║<ρ(A)+e。

定理3(Gelfand定理)：ρ(A)=lim_{k->∞} ║A^k║^{1/k}。

利用上述性质可以推出以下两个常用的推论：

推论1：矩阵序列 I,A,A^2,…A^k,… 收敛于零的充要条件是ρ(A)<1。

推论2：级数 I+A+A^2+... 收敛到(I-A)^{-1}的充要条件是ρ(A)<1。

酉不变范数

定义：如果范数║·║满足║A║=║UAV║对任何矩阵A以及酉矩阵U,V成立，那么这个范数称为酉不变范数。　容易验证，2-范数和F-范数是酉不变范数。因为酉变换不改变矩阵的奇异值，所以由奇异值得到的范数是酉不变的，比如2-范数是最大奇异值，F-范数是所有奇异值组成的向量的2-范数。　反过来可以证明，所有的酉不变范数都和奇异值有密切联系：　定理(Von Neumann定理)：在酉不变范数和对称度规函数(symmetric gauge function)之间存在一一对应关系。　也就是说任何酉不变范数事实上就是所有奇异值的一个对称度规函数。 [1]