PCA 和SVD的整理

再次重新看了一遍PCA和SVD，发现有些知识和思想是需要时间的积累，自己才可以消化的，才可以有一些新的领悟。

1、对于矩阵乘法就是相当于线性变化，一个矩阵的特性完全可以由特征值和特征向量来表示。这部分直观的理解参考：https://my.oschina.net/findbill/blog/535044

2、对于PCA来说，最常用的用处就是降维，主要的思想相当于是选择数据中绝大部分向量的方向，将他们投影到主要的方向（特征向量）上, 达到降维的效果；详细的步骤（1）将数据进行均匀化（2）求均匀后的协方差（3）协方差的特征值分解（4）投影原来的数据到特征向量上；还有具体的数学的推导，详见https://blog.csdn.net/Dark_Scope/article/details/53150883

PS 同意上面博主的一句话，在了解思想和其他详细的做法之后，推导一遍公式，可能有更大的收获。

3、对于SVD和PCA的关系，自己认为: (1) 其中求解协方差的特征值的过程可以替换为直接求原来数据的SVD分解，这样也减少了均衡化和平方的计算（2）同时SVD的左右奇异向量，分别相当于是两个方向：X的行向量和列向量空间。

详见https://blog.csdn.net/wangjian1204/article/details/50642732

4、其他SVD的用法，还有求解最小二乘，求解伪逆，以及是计算数值的稳定性。

越来越发现自己的知识的浅薄，路漫漫其修远兮，吾将上下而求索。^_^