矩阵分析与应用+张贤达

第一章 矩阵与线性方程组（十五）

1.向量的范数举例

若有一个向量$a=[-3,8,6,-1]$
则：

• $L_0$范数为向量中非0元素的个数，则$||a|{|}_0=4$。
• $L_1$范数为向量中每个元素绝对值之和，即$||a|{|}_1={\sum }_{i=1}^n|a_i|$，则$||a|{|}_1=18$。
• $L_2$范数为向量中每个元素绝对值的平方之和再开方，即$||a_2||=\sqrt{{\sum }_{i=1}^n|a_i{|}^2}$，则$||a|{|}_2=\sqrt{110}$。
• $L_{\infty }$范数为向量中每个元素绝对值的最大值，即$||a|{|}_{\infty }={\max }_{1\le x\le n}|x_i|$，则$||a|{|}_{\infty }=8$。

2.向量的内积举例

若有向量$a=[3,2,1],b=[1,2,3]$

• 向量的内积（点乘/点积/数量积）就是对两个向量执行点乘运算，即对这两个向量对应位一一相乘之后求和的操作。则$a\cdot b=10$

3.矩阵的范数与内积概念

3.1 性质

作为一种算子，实矩阵$A\in R_{mxn}$的范数记作$||A||$，它是矩阵$A$的实值函数，必须具有以下性质;
(1)对于任何非零矩阵$A\ne O$，其范数大于零，即$||A||$>0，并且||O||=0。
(2)对于任意复数c有$||cA||=|c|||A||$。
(3)矩阵范数满足三角不等式$||A+B||\le ||A||+||B||$。
(4)两个矩阵乘积的范数小于或等于两个矩阵范数的乘积，即$||AB||\le ||A||||B||$。例如 nxn矩阵$A$的实值函数
$$f(A)=\sum _{i=1}^n\sum _{j=1}^n|a_{ij}|$$
易验证:
(1)$f(A)\ge 0$，并且当$A=0$即$a_{ij}\equiv 0$时$f(A)=0$。
(2)$f(cA)={\sum }_{i=1}^n{\sum }_{j=1}^n|c{a}_{ij}|=|c|{\sum }_{i=1}^n{\sum }_{j=1}^n|a_{ij}|=|c|f(A)$
(3)$f(A+B)={\sum }_{i=1}^n{\sum }_{j=1}^n(|a_{ij}|+|b_{ij}|)\le {\sum }_{i=1}^n{\sum }_{j=1}^n(|a_{ij}|+|b_{ij}|)=f(A+B)$
(4)对于两个矩阵的乘积，有
$f(AB)$

$={\sum }_{i=1}^n{\sum }_{j=1}^n|{\sum }_{k=1}^n{a}_{ik}{b}_{ik}|$

$\le {\sum }_{i=1}^n{\sum }_{j=1}^n{\sum }_{k=1}^n|a_{ik}||b_{ik}|$

$\le {\sum }_{i=1}^n{\sum }_{j=1}^n({\sum }_{k=1}^n|a_{ik}|{\sum }_{l=1}^n|b_{kl}|)$

$=f(A)f(B)$
因此，实函数$f(A)={\sum }_{i=1}^n{\sum }_{j=1}^n|a_{ij}|$是一种矩阵范数。

3.2几种典型的矩阵范数和举例

若矩阵$$A=\left[\begin{array}{ccc}1& 5& -2\\ -2& 1& 0\\ 3& -8& 2\end{array}\right]$$

(1)Frobenius 范数
$$||A|{|}_F=(\sum _{i=1}^n\sum _{j=1}^n|a_{ij}{|}^2{)}^{(1/2)}$$
这一定义可以视为向量的Euclidean范数对按照矩阵各行排列的“长向量”
$x=[a_{11},\dots ,a_{1n},a_{21},\dots ,a_{2n},\dots ,a_{m1},\dots ,a_{mn}{]}^T$
的推广。
矩阵的Frobenius范数也称Euclidean范数、Schur范数、Hilbert-Schmidt范数或者$l_2$范数。
举例
$||A|{|}_F=(|1{|}^2+|5{|}^2+|-2{|}^2+|-2{|}^2+|1{|}^2+|3{|}^2+|-8{|}^2+|2{|}^2{）}^{1/2}=(112{)}^{1/2}=4\sqrt{7}$
(2)$l_p$范数
$$||A|{|}_p=\underset{x\ne 0}{\max }\frac{||Ax|{|}_p}{||x|{|}_p}$$
式中，$||x|{|}_p$是向量$x$的$l_p$范数。$l_p$范数也称Minkowski p范数，或者简称p范数。
举例

• 当p=1时，
  $||A|{|}_1=max(1+2+3,5+1+8,2+0+2)=14=||A|{|}_{col}$

• 当p=2时，
  $$A^T=\left[\begin{array}{ccc}1& -2& 3\\ 5& 1& -8\\ -2& 0& 2\end{array}\right]$$
  ——>
  $$A^{T}A=\left[\begin{array}{ccc}14& -21& 4\\ -21& 90& -26\\ 4& -26& 8\end{array}\right]$$
  $A^{T}A$的最大特征值约为102.66，$||A|{|}_2=\sqrt{102.66}=10.132=||A|{|}_{spec}$
  (3)行和范数
  $$||A|{|}_{row}=\underset{1\le i\le m}{\max }\sum _{j=1}^n|a_{ij}|$$
  举例
  $||A|{|}_{row}=max(1+5+2,2+1+0,3+8+2)=13$
  (4)列和范数
  $$||A|{|}_{col}=\underset{1\le j\le n}{\max }\sum _{i=1}^n|a_{ij}|$$
  举例
  $||A|{|}_{col}=max(1+2+3,5+1+8,2+0+2)=14$
  en:
  (5)谱范数
  $$||A|{|}_{spec}={\sigma }_{max}=\sqrt{{\lambda }_{max}}$$
  式中，${\sigma }_{max}$是矩阵$A$的最大奇异值，即$A^{H}A$的最大特征值${\lambda }_{max}$的正平方根。
  谱范数也称最大奇异值范数或者算子范数。

• 向量$x$的$l_p$范数$||x|{|}_p$相当于该向量的长度。

• 当矩阵$A$作用于长度为$||x|{|}_p$的向量$x$时，得到线性变换结果为向量$Ax$，其长度为$||Ax|{|}_p$。线性变换矩阵$A$可视为一线性放大器算子。因此，比率$||Ax|{|}_p/||x|{|}_p$提供了线性变换$Ax$相对于$x$的放大倍数，而矩阵$A$的p范数$||A|{|}_p$ 是由$A$产生的最大放大倍数。类似地，放大器算子$A$的最小放大倍数由
  $$min|A{|}_p=\underset{x\infty 0}{\min }\frac{||Ax|{|}_p}{||x|{|}_p}$$
  给出。
  比率$||A|{|}_p/min|A{|}_p$ 描述放大器算子$A$的“动态范围”。

3.3矩阵的范数的性质

若$A$,$B$是mxn矩阵，
$$||A+B||+||A-B||=2(||A|{|}^2+||B|{|}^2)(平行四边形法则)$$
$$||A+B||||A-B||\le ||A|{|}^2+||B|{|}^2$$

3.4矩阵的内积

对任意mxn复矩阵$A$和$B$，矩阵的内积记作$<A,B>$，定义为
$$<A,B>-A^{H}B$$

3.5矩阵的内积与范数之间的关系

(1)Cauchy-Schwartz不等式
$$|<A,B>|²\le ||A|{|}^2||B|{|}^2$$
等号成立，当且仅当$A=cB$，其中，c是某个复常数。
(2) Pathagoras定理
$$<A,B>=0\to ||A+B|{|}^2=||A|{|}^2+||B|{|}^2$$
(3)极化恒等式
$$Re(<A,B>)=\frac{1}{4}(||A+B|{|}^2-||A-B|{|}^2)$$
$$Re(<A,B>)=\frac{1}{2}(||A+B|{|}^2-||A|{|}^2-||B|{|}^2)$$
式中，$Re(\cdot )$表示取复数的实部。