SVD的几何意义和公式推导

关于SVD的理解网上有很多写的不错的博客，选择几篇个人觉得总结得很好的在这里mark一下，以方便后续继续学习。如有侵权，请联系博主删除！

SVD的通俗理解：将一个比较复杂的矩阵用更小更简单的3个小矩阵的相乘来表示，这三个小矩阵描述了矩阵的重要特性。

1. SVD的几何意义

参考博客园：https://www.cnblogs.com/lzllovesyl/p/5243370.html

1）给向量左乘一个对角矩阵，相当于对这个向量的长度进行了缩放，此处坐标轴并没有发生变化；

2）给向量左乘一个对称矩阵，相当于对这个向量的长度进行了缩放，并且对坐标轴也进行了旋转；

3）给向量左乘一个普通矩阵，总能找到一组正交的坐标轴来表示该向量，这组坐标轴是由原来的坐标轴通过缩放和旋转得到。

【以下图片来源于：https://www.cnblogs.com/lzllovesyl/p/5243370.html】

2. SVD的公式推导

参考博客园：https://www.cnblogs.com/pinard/p/6251584.html

1）与特征值分解不同，SVD不要求矩阵为方阵。对于m×n的矩阵A，SVD分解定义为：

２）三个子矩阵的求解

3. 基于SVD的数据降维

4. 基于SVD的PCA变换

PCA变换的实质是对矩阵的协方差矩阵X'X进行特征值分解的，而SVD的右奇异向量V正好是对X'X的特征分解。