定义范数的矢量空间是赋范矢量空间;同样,定义半范数的矢量空间就是赋半范矢量空间。
注:在二维的欧氏几何空间 R中定义欧氏范数,在该矢量空间中,元素被画成一个从原点出发的带有箭头的有向
线段,每一个矢量的有向线段的长度即为该矢量的欧氏范数。
半范数
范数=半范数+额外性质
赋范线性空间
(1)正定性:
,且
;
(2)正齐次性:
;
(3)次可加性(三角不等式):
。
那么,
称为
上的一个范数。
如果
线性空间上定义了范数,则称之为
赋范线性空间。
内积、度量、拓扑和范数的关系
(4) 如果去掉范数定义中的正定性,那么得到的泛函称为半范数(seminorm或者叫准范数),相应的线性空间称为赋准范线性空间。
对于X上的两种范数
,
,若存在正常数C满足:
那么称
弱于
。如果
弱于
且
弱于
,那么称这两种范数等价。
可以证明,有限维空间上的范数都等价,无限维空间上至少有阿列夫(实数集的基数)种不等价的范数。
算子范数
编辑
根据定义容易证明:
对于多个空间之间的复合算子,也有,
。
如果一个
线性算子T的范数满足
容易证明,有限
维空间的所有线性算子都有界。
空间范数
编辑基本性质
有限
维空间上的范数具有良好的性质,主要体现在以下几个定理:
性质1:
对于有限维赋范线性空间的任何一组基,范数是元素(在这组基下)的坐标的连续函数。
性质2(
Minkowski定理):
有限维线性空间的所有范数都等价。
性质3(Cauchy收敛原理):
实数域(或复数域)上的有限维线性空间(按任何范数)必定完备。
性质4:
有限维赋范线性空间中的序列按坐标收敛的充要条件是它按任何范数都收敛。
常用范数
这里以C
n空间为例,R
n空间类似。
最常用的范数就是p-范数。若
,那么
可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的,这个结论通常称为
闵可夫斯基(Minkowski)不等式。
当p取
的时候分别是以下几种最简单的情形:
1-范数:║x║1=│x
1│+│x
2│+…+│x
n│
2-范数:║x║2=(│x
1│
2+│x
2│
2+…+│x
n│
2)
1/2
∞-范数:║x║∞=max(│x
1│,│x
2│,…,│x
n│)
其中2-范数就是通常意义下的距离。
另外,若p和q是赫德尔(Hölder)共轭指标,即1/p+1/q=1,那么有赫德尔不等式:
|<x,y>| = ||x
H*y| ≤ ║x║
p║y║
q
当p=q=2时就是柯西-许瓦兹(Cauchy-Schwarz)不等式。
矩阵范数
编辑
如果║·║
α是相容范数,且任何满足║·║
β≤║·║
α的范数║·║
β都不是相容范数,那么║·║
α称为极小范数。对于n阶实方阵(或复方阵)全体上的任何一个范数║·║,总存在唯一的实数k>0,使得k║·║是极小范数。
注:如果不考虑相容性,那么矩阵范数和
向量范数就没有区别,因为mxn矩阵全体和mn维
向量空间同构。引入相容性主要是为了保持矩阵作为线性
算子的特征,这一点和算子范数的相容性一致,并且可以得到Mincowski定理以外的信息。
诱导的范数
把矩阵看作线性算子,那么可以由向量范数诱导出
矩阵范数
║A║ = max{║Ax║:║x║=1}= max{║Ax║/║x║: x≠0}
它自动满足对向量范数的相容性
║Ax║ ≤ ║A║║x║
并且可以由此证明:
║AB║ ≤ ║A║║B║。
注:
⒈ 上述定义中可以用max代替sup是因为有限维空间的单位闭球是紧的(有限开覆盖定理),从而上面的连续函数可以取到最值。
⒉ 单位矩阵的算子范数为1。
1-范数:
║A║
1 = max{ ∑|a
i1|,∑|a
i2|,……,∑|a
in| } (列和范数,A每一列元素绝对值之和的最大值)(其中∑|a
i1|第一列元素绝对值的和∑|a
i1|=|a
11|+|a
21|+...+|a
n1|,其余类似);
2-范数:
∞-范数:
║A║
∞ = max{ ∑|a
1j|,∑|a
2j|,...,∑|a
mj| } (行和范数,A每一行元素绝对值之和的最大值)(其中∑|a
1j| 为第一行元素绝对值的和,其余类似);
其它的p-范数则没有很简单的表达式。
对于p-范数而言,可以证明║A║
p=║A
H║
q,其中p和q是共轭指标。
简单的情形可以直接验证:║A║
1=║A
H║
∞,║A║
2=║A
H║
2,一般情形则需要利用║A║
p=max{y
H*A*x:║x║
p=║y║
q=1}。
非诱导范数
有些矩阵范数不可以由向量范数来诱导,比如常用的Frobenius范数(也叫Euclid范数,简称F-范数或者E-范数):
║A║
F= (∑∑ a
ij
2)
1/2 (A全部元素平方和的平方根)。
容易验证F-范数是相容的,但当min{m,n}>1时F-范数不能由向量范数诱导(||E
11+E
22||
F=2>1)。
例:
定义║x║=║X║,其中X=[x,x,…,x]是由x作为列的
矩阵。由于向量的F-范数就是2-范数,所以F-范数和向量的2-范数相容。
另外还有以下结论:
║AB║
F <= ║A║
F ║B║
2
║AB║
F ≤ ║A║
2 ║B║
F
矩阵谱半径
定义:
A是n阶方阵,λ
i是其特征值,i=1,2,…,n。则称特征值的绝对值的最大值为A的
谱半径,记为ρ(A)。
注:注意要将谱半径与谱范数(2-范数)区别开来,谱范数是指A的最大奇异值,即A
H*A最大特征值的算术平方根。
谱半径是矩阵的函数,但不是
矩阵范数。谱半径和范数的关系是以下几个结论:
定理1:
谱半径不大于矩阵范数,即ρ(A)≤║A║。
因为任一特征对λ,x,Ax=λx,可得Ax=λx。两边取范数并利用相容性即得结果。
定理2:
对于任何方阵A以及任意正数e,存在一种矩阵范数使得║A║<ρ(A)+e。
定理3(Gelfand定理):
ρ(A)=lim_{k->;∞} ║A
k║1
/k。
推论:
推论1:矩阵序列 I,A,A
2,…A
k,… 收敛于零的充要条件是ρ(A)<1。
推论2:级数 I+A+A
2+... 收敛到(I-A)
-1的充要条件是ρ(A)<1。
酉不变范数
定义:
如果范数║·║满足║A║=║UAV║对任何矩阵A以及
酉矩阵U,V成立,那么这个范数称为酉不变范数。
容易验证,2-范数和F-范数是酉不变范数。因为酉变换不改变矩阵的
奇异值,所以由奇异值得到的范数是酉不变的,比如2-范数是最大奇异值,F-范数是所有奇异值组成的向量的2-范数。反之可证明,所有的酉不变范数都和奇异值有密切联系:
Von Neumann定理:在酉不变范数和对称度规函数(symmetric gauge function)之间存在一一对应关系。也就是说任何酉不变范数事实上就是所有奇异值的一个对称度规函数。