#从特征值分解引入
我们知道矩阵的特征值分解是提取矩阵特征的一个方法,
其中v是一个一维矩阵,λ是特征值,代表v表示的矩阵特征的重要性。
但矩阵的特征值分解有一个局限性,在于变换的矩阵必须是方阵。
奇异值分解
现实世界中大部分矩阵都不是方阵,这时如果我们想描述矩阵的特征,就要用到奇异值分解。
假设A是一个N * M的矩阵,那么得到的U是一个N * N的方阵(里面的向量是正交的,U里面的向量称为左奇异向量),Σ是一个N * M的矩阵(除了对角线的元素都是0,对角线上的元素称为奇异值),V’(V的转置)是一个N * N的矩阵,里面的向量也是正交的,V里面的向量称为右奇异向量),从图片来反映几个相乘的矩阵的大小可得下面的图片
其中,Σ中对角线上的每个元素就是奇异值,在很多情况下,前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说,我们也可以用前r大的奇异值来近似描述矩阵&