PCA和LDA简介

PCA:

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法，可用于提取数据的主要特征分量。

目的:

在高维数据中找方差最大的方向, 将n维特征映射到k维上(k < n)，k维特征是全新的正交特征，也叫主成分。

步骤：

1）将原始数据按列组成n行m列矩阵X；
2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值；
3）求出协方差矩阵；
4）求出协方差矩阵的特征值及对应的特征向量；
5）按对应特征值从大到小顺序排序，将对应特征向量按行排列成矩阵，取前k行组成矩阵U；
6）Y=UX即为降维到k维后的数据；

LDA：

LDA(Linear Discriminate Analysis)把线性分类看成是数据降维的一种应用。

特点：

可以作为一种特征抽取的技术；
需要监督信息；
对于不适用于正则化的模型，可以降低因为纬度灾难带来的过拟合;

目的：

通过最小化类内距离，最大化类间距来找到最优化分类的特征子空间。

步骤：

1）计算类内散度矩阵$S_w$;
2）计算类间散度矩阵$S_b$;
3）计算矩阵$S_w^{-1}{S}_b$;
4) 计算矩阵 $S_w^{-1}{S}_b$; 的特征值以及对应的特征向量;
5) 选择前k个特征向量构造一个 d∗k 维的转换矩阵 W, 其中特征向量以列的形式排列;
6）对样本集中的每一个样本特征$x_i$,转化为新的样本$Y_i=W^T{x}_i$;

相同与不同：

	PCA	LDA
目的	降维	降维
数据分布	假设数据符合高斯分布	假设数据符合高斯分布
思想	矩阵特征分解思想	矩阵特征分解思想
是否有监督	无监督	有监督
降维方式	去掉原始数据冗余的维度	选择一个最佳投影方向，使类内距离更紧凑，类间距离更远
降维维度	降低的维度与类别无关	最多降到K-1维，K为类别
拟合情况		可能会过拟合