1. LDA原理:
线性判别分析,是数据挖掘中一种经典监督学习的分类和降维方法,但更多用来降维。其原理寻找一个投影矩阵,使得投影后的数据样本,同类相近,异类远离。其中心思想是最大化类间距离及最小化类内距离。
推导:
2. NCA原理:
近邻成分分析,属于度量学习和降维领域,原理是以马氏距离为距离度量的KNN为基础,通过不断优化KNN分类的准确性来学习转化矩阵,最终得到对原数据进行降维的转换矩阵。
推导过程:
3. PCA原理:
PCA的主要思想是将n维特征映射到k维上,这k维是全新的正交特征也被称为主成分,是在原有n维特征的基础上重新构造出来的k维特征。
推导过程:
4. compare LDA with PCA:
相同:
两者均可以对数据进行降维。
两者在降维时均使用了矩阵特征分解的思想。
两