矩阵分析与应用+张贤达

奇异值的性质

令矩阵$A$和$B$均为$m\times n$矩阵，并且$r_A=rank(A)，p=minm,n$。
设矩阵$A$的奇异值排列为
$${\sigma }_{m}ax={\sigma }_1\ge {\sigma }_2\ge \dots \ge {\sigma }_{p-1}\ge {\sigma }_p={\sigma }_{min}\ge 0$$
并且用${\sigma }_i(B)$表示矩阵$B$的第$i$个大奇异值。

矩阵的各种变形与奇异值的变化有以下关系
(1)$m\times n$矩阵$A$的共轭转置$A^H$的奇异值分解为
$$A^H=V{\Sigma }^T{U}^H$$
即矩阵$A$和$A^H$具有完全相同的奇异值。
(2)$P$和$Q$分别为$m\times m$和$n\times n$酉矩阵时，$PA{Q}^H$的奇异值分解由
$$PA{Q}^H=\overline{U}\Sigma {\overline{V}}^H$$
给出，其中，$\overline{U}=PU，\overline{V}=QV$。就是说，矩阵$PA{Q}^H$与$A$具有相同的奇异值，即奇异值具有酉不变性，但奇异向量不同。
(3)$A^{H}A,A{A}^H$的奇异值分解分别为
$$A^{H}A=V{\Sigma }^T\Sigma V^H,A{A}^H=U\Sigma {\Sigma }^T{U}^H$$
其中
$${\Sigma }^T\Sigma =diag({\sigma }_1^2,{\sigma }_2^2,\dots ,{\sigma }_r^2,0,\dots ,0)$$
$$\Sigma {\Sigma }^T=diag({\sigma }_1^2,{\sigma }_2^2,\dots ,{\sigma }_r^2,0,\dots ,0)$$
注:$A^{H}A$和$A{A}^H$均为Hermitian矩阵。Hermitian矩阵的奇异值分解与特征值分解是一致的。
(4)$m\times n$矩阵$A$的奇异值分解与$n\times m$维MoorePenrose广义逆矩阵$A^{+}$之间存在下列关系:
$$A^{+}=V{\Sigma }^{+}{U}^H$$

定理
令$A$是一个$m\times n$矩阵，其奇异值${\sigma }_1\ge {\sigma }_2\ge \dots \ge {\sigma }_r$其中，$r=minm,n$。若$p\times q$矩阵$B$是$A$的子矩阵，其奇异值 γ 1 ≥ γ 2 ≥ … ≥ γ m i n { p , g } \gamma_1≥\gamma_2≥…≥ \gamma_{min\{p,g\}} γ1​≥γ2​≥…≥γmin{p,g}​则
σ i ≥ γ i ， i = 1 , 2 , … , m i n { p , q } \sigma_i≥\gamma_i，i=1,2,…,min\{p,q\} σi​≥γi​，i=1,2,…,min{p,q}
并且
γ i ≥ σ i + ( m − p ) + ( n − q ) ， i ≤ m i n { p + q − m , p + q − n } \gamma_i≥\sigma_{i+(m-p)+(n-q)}，i≤min\{p+q-m,p+q-n\} γi​≥σi+(m−p)+(n−q)​，i≤min{p+q−m,p+q−n}

奇异值与范数的关系
矩阵$A$的谱范数等于$A$的最大奇异值，即
$$||A|{|}_{spec}={\sigma }_1$$
根据矩阵的奇异值分解定理，并注意到矩阵$A$的Frobenius范数$||A|{|}_F$是西不变的，即$||U^{H}AV|{|}_F=||A|{|}_F$，故有
即是说，任何一个矩阵的Frobenius范数等于该矩阵所有非零奇异值平方和的正平方根。

考虑矩阵$A$的秩k近似，并将其记作$A_k$，其中，$k<r=rank(A)$。矩阵$A_k$定义如下:
$$A_k=\sum _{i=1}^k{\sigma }_i{u}_i{c}_i^H,k<r$$
则$A$与秩为k的任一矩阵B之差的i和Frobineus范数分别为
$$\underset{rank(B)=k}{\min }||A-B|{|}_1=||A-A_k|{|}_1={\sigma }_{k+1}$$
和
$$\underset{rank(B)=k}{\min }||A-B|{|}_F^2=||A-A_k|{|}_F^2={\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\dots +{\sigma }_r^2$$

这一重要结果是许多概念和应用的基础。例如，总体最小二乘、数据压缩、图像增强、动态系统实现理论，以及线性方程的求解等问题都需要用一个低秩矩阵近似$A$。