机器学习基础：降维之矩阵分解svd、pca、lda

本篇主要记录下svd(Singular Value Decomposition)、pca(Principal Component Analysis)、lda(Linear Discriminant Analysis)

svd

svd是一种无监督的降维算法，其可以用来对任一矩阵（不要求为方阵）进行分解，如下：

详细可参考：https://www.cnblogs.com/pinard/p/6251584.html

pca

pca是一种无监督的降维算法，其基本思想是如果样本在某一维度上的方差越大，则该维度包含的信息就越多；反之如果某一维度上的方差非常小，则该维度基本不含信息，去掉也不会有多大损失；其目标是希望找到个空间变换矩阵使得样本在新空间各基底（坐标轴）上的方差尽可能的大，然后直接舍弃掉方差最小的那几个新空间基底（坐标轴）就达到了降维的目的了；其主要步骤是对数据矩阵的协方差矩阵进行分解，求特征值和特征向量；流程如下：