PCA:
PCA(Principal Component Analysis),即主成分分析方法,是一种使用最广泛的数据降维算法,可用于提取数据的主要特征分量。
目的:
在高维数据中找方差最大的方向, 将n维特征映射到k维上(k < n),k维特征是全新的正交特征,也叫主成分。
步骤:
1)将原始数据按列组成n行m列矩阵X;
2)将X的每一行(代表一个属性字段)进行零均值化,即减去这一行的均值;
3)求出协方差矩阵;
4)求出协方差矩阵的特征值及对应的特征向量;
5)按对应特征值从大到小顺序排序,将对应特征向量按行排列成矩阵,取前k行组成矩阵U;
6)Y=UX即为降维到k维后的数据;
LDA:
LDA(Linear Discriminate Analysis)把线性分类看成是数据降维的一种应用。
特点:
可以作为一种特征抽取的技术;
需要监督信息;
对于不适用于正则化的模型,可以降低因为纬度灾难带来的过拟合;
目的:
通过最小化类内距离,最大化类间距来找到最优化分类的特征子空间。
步骤:
1)计算类内散度矩阵
S
w
S_{w}
Sw;
2)计算类间散度矩阵
S
b
S_{b}
Sb;
3)计算矩阵
S
w
−
1
S
b
S_{w}^{-1} S_{b}
Sw−1Sb;
4) 计算矩阵
S
w
−
1
S
b
S_{w}^{-1} S_{b}
Sw−1Sb; 的特征值以及对应的特征向量;
5) 选择前k个特征向量构造一个 d∗k 维的转换矩阵 W, 其中特征向量以列的形式排列;
6)对样本集中的每一个样本特征
x
i
x_{i}
xi,转化为新的样本
Y
i
=
W
T
x
i
Y_{i} = W^{T}x_{i}
Yi=WTxi;
相同与不同:
PCA | LDA | |
---|---|---|
目的 | 降维 | 降维 |
数据分布 | 假设数据符合高斯分布 | 假设数据符合高斯分布 |
思想 | 矩阵特征分解思想 | 矩阵特征分解思想 |
是否有监督 | 无监督 | 有监督 |
降维方式 | 去掉原始数据冗余的维度 | 选择一个最佳投影方向,使类内距离更紧凑,类间距离更远 |
降维维度 | 降低的维度与类别无关 | 最多降到K-1维,K为类别 |
拟合情况 | 可能会过拟合 |