范數

轉自：http://baike.baidu.com/view/637132.htm?fr=ala0_1_1

 

范數的定義

設X是數域K上線性空間，稱║˙║為X上的范數(norm)，若它滿足：

　　1. 正定性：║x║≧0，且║x║=0 <=> x=0；

　　2. 齊次性：║cx║=│c│║x║；

　　3. 次可加性(三角不等式)：║x+y║≦║x║+║y║ 。

　　注意到║x+y║≦║x║+║y║中如令y=-x，再利用║-x║=║x║可以得到║x║≧0，即║x║≧0在定義中不是必要的。

　　如果線性空間上定義了范數，則稱之為賦范線性空間。

　　注記：范數與內積，度量，拓撲是相互聯系的。

　　1. 利用范數可以誘導出度量：d(x,y)=║x-y║，進而誘導出拓撲，因此賦范線性空間是度量空間。

　　但是反過來度量不一定可以由范數來誘導。

　　2. 如果賦范線性空間作為(由其范數自然誘導度量d(x,y)=║x-y║的)度量空間是完備的，即任何柯西(Cauchy)序列在其中都收斂，則稱這個賦范線性空間為巴拿赫(Banach)空間。

　　3. 利用內積<˙,˙>可以誘導出范數：║x║=<x,x>^{1/2}。

　　反過來，范數不一定可以由內積來誘導。當范數滿足平行四邊形公式║x+y║^2+║x-y║^2=2(║x║^2+║y║^2)時，這個范數一定可以由內積來誘導。

　　完備的內積空間成為希爾伯特(Hilbert)空間。

　　4. 如果去掉范數定義中的正定性，那麼得到的泛函稱為半范數(seminorm或者叫准范數)，相應的完備空間稱為Fréchet空間。

　　對於X上的兩種范數║x║α,║x║β，若存在正常數C滿足

　　║x║β≦C║x║α

　　那麼稱║x║β弱於║x║α。如果║x║β弱於║x║α且║x║α弱於║x║β，那麼稱這兩種范數等價。

　　可以證明，有限維空間上的范數都等價，無限維空間上至少有阿列夫1(實數集的基數)種不等價的范數。

 

算子范數

　　如果X和Y是巴拿赫空間，T是X->Y的線性算子，那麼可以按下述方式定義║T║：

　　║T║ = sup{║Tx║：║x║<=1}

　　根據定義容易證明║Tx║ <= ║T║║x║。

　　對於多個空間之間的復合算子，也有║XY║ <= ║X║║Y║。

　　如果一個線性算子T的范數滿足║T║ < +∞，那麼稱T是有界線性算子，否則稱T是無界線性算子。

　　比如，在常用的范數下，積分算子是有界的，微分算子是無界的。

　　容易證明，有限維空間的所有線性算子都有界。

有限維空間的范數

  基本性質

　　有限維空間上的范數具有良好的性質，主要體現在以下幾個定理：

　　性質1：對於有限維賦范線性空間的任何一組基，范數是元素(在這組基下)的坐標的連續函數。

　　性質2(Minkowski定理)：有限維線性空間的所有范數都等價。

　　性質3(Cauchy收斂原理)：實數域(或復數域)上的有限維線性空間(按任何范數)必定完備。

　　性質4：有限維賦范線性空間中的序列按坐標收斂的充要條件是它按任何范數都收斂。

 

   常用范數

　　這裡以C^n空間為例，R^n空間類似。

　　最常用的范數就是p-范數。若x=[x1,x2,...,xn]^T，那麼

　　║x║p=(|x1|^p+|x2|^p+...+|xn|^p)^{1/p}

　　可以驗證p-范數確實滿足范數的定義。其中三角不等式的證明不是平凡的，這個結論通常稱為閔可夫斯基(Minkowski)不等式。

　　當p取1，2，∞的時候分別是以下幾種最簡單的情形：

　　1-范數：║x║1=│x1│+│x2│+…+│xn│

　　2-范數：║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2

　　∞-范數：║x║∞=max(│x1│,│x2│,…,│xn│)

　　其中2-范數就是通常意義下的距離。

　　對於這些范數有以下不等式：║x║∞ ≦ ║x║2 ≦ ║x║1 ≦ n^{1/2}║x║2 ≦ n║x║∞

　　另外，若p和q是赫德爾(H&ouml;lder)共軛指標，即1/p+1/q=1，那麼有赫德爾不等式：

　　|<x,y>| = ||x^H*y| <= ║x║p║y║q

　　當p=q=2時就是柯西-許瓦茲(Cauchy-Schwarz)不等式。

矩陣范數

　　矩陣范數除了正定性，齊次性和三角不等式之外，還規定其必須滿足相容性：║XY║≦║X║║Y║。

　　注：如果不考慮相容性，那麼矩陣范數和向量范數就沒有區別，因為mxn矩陣全體和mn維向量空間同構。引入相容性主要是為了保持矩陣作為線性算子的特征，這一點和算子范數的相容性一致，並且可以得到Mincowski定理以外的信息。

  誘導范數

　　把矩陣看作線性算子，那麼可以由向量范數誘導出矩陣范數

　　║A║ = max{║Ax║:║x║=1}= max{║Ax║/║x║: x≠0} ，

　　它自動滿足對向量范數的相容性

　　║Ax║ ≦ ║A║║x║，

　　並且可以由此證明

　　║AB║ ≦ ║A║║B║。

　　注：

　　1.上述定義中可以用max代替sup是因為有限維空間的單位閉球是緊的(有限開覆蓋定理)，從而上面的連續函數可以取到最值。

　　2.顯然，單位矩陣的算子范數為1。

　　常用的三種p-范數誘導出的矩陣范數是

　　1-范數：║A║1 = max{ Σ|ai1|, Σ|ai2| ,…… ,Σ|ain| } （列和范數，A每一列元素絕對值之和的最大值）

　　(其中Σ|ai1|第一列元素絕對值的和Σ|ai1|=|a11|+|a21|+...+|an1|,其余類似）；

　　2-范數：║A║2 = A的最大奇異值 = ( max{ λi(A^H*A) } ) ^{1/2} ( 譜范數,即A'A特征值λi中最大者λ1的平方根，其中A^H為A的轉置共軛矩陣）；

　　∞-范數：║A║∞ = max{ Σ|a1j|, Σ|a2j| ,..., Σ|amj| } （行和范數，A每一行元素絕對值之和的最大值）

　　(其中為Σ|a1j| 第一行元素絕對值的和，其余類似）；

　　其它的p-范數則沒有很簡單的表達式。

　　對於p-范數而言，可以證明║A║p=║A^H║q，其中p和q是共軛指標。

　　簡單的情形可以直接驗證：║A║1=║A^H║∞，║A║2=║A^H║2，一般情形則需要利用║A║p=max{y^H*A*x：║x║p=║y║q=1}。

 非誘導范數

　　有些矩陣范數不可以由向量范數來誘導，比如常用的Frobenius范數(也叫Euclid范數，簡稱F-范數或者E-范數)：

　　║A║F= ( ΣΣ aij^2 )^1/2 (A全部元素平方和的平方根)。

　　容易驗證F-范數是相容的，但當min{m,n}>1時F-范數不能由向量范數誘導(||E11+E22||F=2>1)。

　　可以證明任一種矩陣范數總有與之相容的向量范數。例如定義

　　║x║=║X║，其中X=[x,x,…,x]是由x作為列的矩陣。

　　由於向量的F-范數就是2-范數，所以F-范數和向量的2-范數相容。另外還有以下結論：

　　║AB║F <= ║A║F ║B║2 以及 ║AB║F <= ║A║2 ║B║F

 矩陣的譜半徑和范數的關系

　　定義：A是n階方陣，λi是其特征值，i=1,2,…,n。則稱特征值的絕對值的最大值為A的譜半徑，記為ρ(A)。

　　注意要將譜半徑與譜范數(2-范數)區別開來，譜范數是指A的最大奇異值，即A^H*A最大特征值的算術平方根。

　　譜半徑是矩陣的函數，但不是矩陣范數。譜半徑和范數的關系是以下幾個結論：

　　定理1：譜半徑不大於矩陣范數，即ρ(A)≦║A║。

　　因為任一特征對λ,x,Ax=λx，可得Ax=λx。兩邊取范數並利用相容性即得結果。

　　定理2：對於任何方陣A以及任意正數e，存在一種矩陣范數使得║A║<ρ(A)+e。

　　定理3(Gelfand定理)：ρ(A)=lim_{k->∞} ║A^k║^{1/k}。

　　利用上述性質可以推出以下兩個常用的推論：

　　推論1：矩陣序列 I,A,A^2,…A^k,… 收斂於零的充要條件是ρ(A)<1。

　　推論2：級數 I+A+A^2+... 收斂到(I-A)^{-1}的充要條件是ρ(A)<1。

 酉不變范數

　　定義：如果范數║˙║滿足║A║=║UAV║對任何矩陣A以及酉矩陣U,V成立，那麼這個范數稱為酉不變范數。

　　容易驗證，2-范數和F-范數是酉不變范數。因為酉變換不改變矩陣的奇異值，所以由奇異值得到的范數是酉不變的，比如2-范數是最大奇異值，F-范數是所有奇異值組成的向量的2-范數。

　　反過來可以證明，所有的酉不變范數都和奇異值有密切聯系：

　　定理(Von Neumann定理)：在酉不變范數和對稱度規函數(symmetric gauge function)之間存在一一對應關系。

　　也就是說任何酉不變范數事實上就是所有奇異值的一個對稱度規函數。