PCA是非监督方式,没有类别标签,针对高斯分布的数据有有效。
将n维特征降维到k维特征。
PCA理论主要包括:方差最大理论和最小平方误差理论。
方差最大理论:降维之后的数据分布尽可能方差较大。
最小平方误差理论:降维后的数据与原数据的平方误差最小。
PCA方法:
1.求数据的协方差矩阵
2.求协方差矩阵的特征值与特征向量。
3.选取特真最大的k个特征所对应的k个特征向量构成特征向量矩阵。
4.将原数据与特征矩阵相乘得到降到k维后的数据
LDA:
线性特征判别方法,要求数据具有类别信息,同时也是针对高斯分布数据有效。
两点:
1.相同类别的数据尽可能内聚
2.不同类别数据尽可能疏远。
寻找这样的直线,使得投影之后的两类别样本中心尽可能分离,同样类别的数据越集中越好。