【机器学习的一些问题】降维

机器学习中，数据通常被表示为向量形式输入模型进行训练，但对于大量的多维数据直接进行处理和分析会极大消耗系统资源，因此需要通过降维缓解这一问题。降维，就是用一个低维度向量来表示原始高维度向量的特征。常见的方法有：

• 主成分分析Principal Components Analysis,PCA
• 线性判别分析Linear Discriminant Analysis,LDA
• 等距映射
• 局部线性嵌入
• 拉普拉斯特征映射
• 局部保留投影

 

主成分分析是一种线性、非监督、全局的降维方法，也是最经典的方法。

最大方差理论。信噪比越大数据质量越好，由此PCA的目标就是最大化投影方差，让数据在主轴投影的方差最大。

最小平方误差理论，依据最大方差理论，PCA求解的其实是最佳投影方向，即一条直线，和线性回归问题的目标不谋而合，即寻找一个超平面，使得所有数据点到这个超平面的距离平方和最小。

 

线性判别分析是一种考虑数据类别（标签）、有监督的降维方法，经典且热门。

LDA的核心思想是最大化类间距离和最小化类内距离，使降维后投影点的不同类别的可区分性最高。

 

PCA选择投影后数据方差最大的方向，假设方差越大，信息量越多，用主成分来表示原始数据可以去除冗余的维度达到降维。LDA选择投影后类间方差大、类内方差小的方向，运用不同的标签信息，使元数据在这些方向投影后，尽量区分出不同类别。举例子来说，语音识别提取人声可以用PCA降维去除方差较小的噪声，而区分出声音属于哪个人则需要使用LDA来区分不同人声的信号；人脸识别可以使用PCA迅速降维得到特征脸，而达到更好的人脸识别效果则应使用LDA。从应用角度来说，无监督任务用PCA降维，有监督任务用LDA降维。