1. 矩阵奇异值的含义
矩阵奇异值的含义是从方阵的特征值概念中延伸出来的
对于任意形状的矩阵 A m n A_{mn} Amn, A T A A^TA ATA表示一个 n n n阶的对称方阵,假设 v i v_i vi是 A T A A^TA ATA的单位正交特征向量, λ i \lambda _i λi是 A T A A^TA ATA对应的特征值 ( λ i > 0 ) (\lambda _i>0) (λi>0)
∣ A v i ∣ 2 = ( A v i ) T A v i = v i T ( A T A v i ) = v i T λ i v i = λ i |Av_i|^2=(Av_i)^TAv_i=v_i^T(A^TAv_i)=v_i^T\lambda _iv_i=\lambda _i ∣Avi∣2=(Avi)TAvi=viT(ATAvi)=viTλivi=λi
将向量 A v i Av_i Avi的模长 λ i \sqrt{\lambda _i} λi定义为矩阵A的奇异值, 记为 σ i \sigma_i σi。
2. 奇异值分解(SVD)
矩阵的奇异值分解涉及到一个类似对角的矩阵 Σ m ∗ n = [ D 0 0 0 ] \Sigma_{m*n}=\begin{bmatrix} D & 0 \\ 0 & 0 \end{bmatrix} Σ