PCA与LDA

PCA是非监督方式，没有类别标签，针对高斯分布的数据有有效。

将n维特征降维到k维特征。

PCA理论主要包括：方差最大理论和最小平方误差理论。

方差最大理论：降维之后的数据分布尽可能方差较大。

最小平方误差理论：降维后的数据与原数据的平方误差最小。

PCA方法：

1.求数据的协方差矩阵

2.求协方差矩阵的特征值与特征向量。

3.选取特真最大的k个特征所对应的k个特征向量构成特征向量矩阵。

4.将原数据与特征矩阵相乘得到降到k维后的数据

LDA：

线性特征判别方法，要求数据具有类别信息，同时也是针对高斯分布数据有效。

两点：

1.相同类别的数据尽可能内聚

2.不同类别数据尽可能疏远。

寻找这样的直线，使得投影之后的两类别样本中心尽可能分离，同样类别的数据越集中越好。