矩阵分解常用方式总结

SVD：

奇异值分解首先要从矩阵特征值分解讲起。任意一个方阵都可以特征值分解为

Q是矩阵A的特征向量组成的矩阵，E则是一个对角阵，对角线上的元素就是特征值。里面的值从大到小排列。我们都知道矩阵可以理解为一种变化包括旋转拉伸等，那么特征值的大小就代表着变化方向的主次。而特征向量则代表着某种变化的方向。而且特征向量之间是相互正交的，我理解就是把矩阵的这种多维度的复杂变化转化为多个正交的的一位方向变化也就是特征向量，然后用特征值来表示矩阵在这种方向上变化了多少。也可以这么理解：求特征向量代表着坐标轴变化，相当于对原向量进行了正交转化，正交转化后他们的长度和彼此夹角不变，特征值代表在这个坐标轴上的坐标。而且特征向量是正交的，所以有降纬效果。|A-入E|=0求出特征值后，带入（A-入E）x=0求特征向量。

但是特征值分解只能应用于方阵，那么对于普通矩阵，我们可以（A^TA)vi=入vi

奇异值=左奇艺矩阵特征值开方

PCA：

PCA和LDA默认原始数据都是服从高斯分布的。且LDA还要求各类的协方差相等。

我们在干活的时候，往往数据的特征维度很高，给我们的分析和计算带来麻烦，所以我们想找一个合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失。PCA的中心思想是找到一个超平面，这个超平面在所有样本点上的方差最大，可以把样本点尽可能分开。那么如何找到这个超品面？首先我们对训练集归一化，然后我们将样本集向量的协方差矩阵求出来，协方差表示两个变量之间的线形相关程度，它的范围在-1到1，如果协方差越接近1，那么这两个变量的变化方向是一致的，这里的变化方向是说他们相对于自己的平均值的变化趋势。协方差接近-1，那么他们的变化趋势完全相反，等于0就是完全无关。那么将协方差矩阵特证分解后，得到的特征向量组成的就是映射矩阵。样本集向量在映射矩阵也就是投影超平面上的方差就是协方差矩阵的特征值。把样本集和映射矩阵相乘即是降维后的新样本集。刚刚说的特征值的选择，我们可以按这样来，就是原样本集的所有特征值之和与新样本集的特征值之和除一下要大于0.95，因为特征值大小就代表了这个特征向量的重要性，也就是这个特征向量所包含样本信息的多少。那么这样我们就取到了原样本集95%的信息。这里0.95是超参数也可以换。

理论上，协方差矩阵的特征分解可以用特征值分解或者svd都行，但是实际上，我们的PCA是通过SVD来完成，这个方法在样本量很大的时候很有效。scikit-learn的PCA算法的背后真正的实现就是用的SVD。其中左奇异矩阵可以用于对行数的压缩；右奇异矩阵可以用于对列(即特征维度)的压缩

LDA：

LDA是一种有监督的降为方法，它的中心思想是把样本点映射到一个超平面上，使得他们的类间距离最大。具体实现过程是：求出类内散度矩阵和类间散度矩阵，然后把类内散度矩阵的逆矩阵和类间散度矩阵相乘，得到结果矩阵。然后将这个结果矩阵求特征值，控制好特征值的数量，来确定要多少特征向量，然后特征向量组成的映射矩阵就是符合中心思想的那个超平面。把样本点挨个和映射矩阵相乘得到的就是降为后的样本集。这里要注意的是，LDA降为后的样本特征维度=<k-1.