机器学习-SVD奇异值分解推导与降维原理

下方图片均是从个人onenote端截图而来，还有一部分自己的注释帮助理解。有些截图是以前百度到觉得不错的，收集起来了，但是具体出处我也忘了，如果有人发现哪张图我应该声明出处，还请@我，多谢。

一. 基础概念

1. 原矩阵被分割成左奇异向量矩阵*奇异值矩阵*右奇异向量矩阵；

2. 奇异值：ATA的非负特征值的算术平方根（A是原始矩阵m*n，AT是A的转置）

3. 奇异向量求解：

        （1）矩阵A左乘转置AT，会得到一个n*n方阵，通过这个方阵求特征值和特征向量，这里的特征向量就是A的右奇异向量。

        （2）矩阵A右乘AT，得到一个m*m方阵，求得特征向量，就是A的左奇异向量。

二、完整推导过程

1. 对任意M*N的矩阵，找到一组正交基使得经过A变换以后还是正交基。

        在n维空间里找到一组正交基，经过矩阵A的变换之后还是正交的。假设已经找到一组这样的正交基，如下图：