今天,来学习一种很重要的矩阵分解,叫做奇异值分解(Sigular Value Decomposition),简称SVD。
Contents
1. 认识SVD
2. SVD与广义逆矩阵
3. SVD与最小二乘法
4. SVD与数据压缩
5. SVD与潜在语义分析
6. SVD与低阶近似
1. 认识SVD
在认识SVD之前,先来学习两个相关的概念:正交矩阵和酉矩阵。
如果,则阶实矩阵称为正交矩阵。而酉矩阵是正交矩阵往复数域上的推广。
判断正交矩阵和酉矩阵的充分必要条件是:。或者说正交矩阵和酉矩阵的共轭转置和它的
逆矩阵相等。
对任意矩阵,都能被奇异值分解为
其中是的正交矩阵,是的正交矩阵,是由个沿对角线从大到小排列的奇异值
组成的方阵,就是矩阵的秩。奇异值分解是一种正交矩阵分解法。
2. SVD与广义逆矩阵