百面机器学习 降维

1、主成分分析法PCA

在信号处理领域，认为信号具有较大方差，噪声具有较小方差。

信噪比：信号与噪声之比。信噪比越大意味着数据的质量越好，反之，信噪比越小意味着数据的质量越差。

PCA目标：在降维过程中，最大化投影方差，也就是让数据在主轴上投影的方差最大。即要找到最大的方差也就是协方差矩阵最大的特征值，最佳投影方向 就是最大特征值所对应的特征向量。

PCA求解步骤：

（1）对样本数据进行中心化处理。

（2）求样本协方差矩阵。

（3）对协方差矩阵进行特征值分解，将特征值从大到小排列。

（4）取特征值前d大对应的特征向量ω1 ,ω2 ,...,ωd，通过以下映射将n维样本映射到d维

另一种理解：找一个分割线将可以更好地拟合样本的特征点

2、线性判别分析LDA

LDA的中心思想：最大化类间距离和最小化类内距离。

最大化的目标对应了一个矩阵的特征值，于是 LDA降维变成了一个求矩阵特征向量的问题。

LDA求解步骤：

（1）计算数据集中每个类别样本的均值向量μj，及总体均值向量μ。

（2）计算类内散度矩阵Sw，全局散度矩阵St，并得到类间散度矩阵Sb= St-Sw。

（3）对矩阵进行特征值分解，将特征值从大到小排列。

（4）取特征值前d大的对应的特征向量，通过以下映射将n维样本映射到d维

3、二者区别

PCA是无监督降维算法，LDA是有监督降维算法。

PCA选择的是投影后数据方差最大的方向，用主成分来表示原始数据可以去除冗余的维度，达到降维。

而LDA选择的是投影后类内方差小、类间方差大的方向。使得原始数据在这些方向上投影后，不同类别尽可能区分开。