1、主成分分析(Principle Component Analysis,PCA)
PCA原理
主成分分析是最常用的一种降维方法,为了便于维度变换,作出如下假设:
1)样本数据是维的。
2)原始坐标系为:由标准正交基向量张成的空间,其中; 。
3)经过线性变换后的新坐标系为:有标准正交基向量张成的空间,其中 ;
根据定义,有:
记,其个分量就是基向量在原始坐标系中的投影,即:。根据标准正交基的性质,有:
1)
2)
根据定义有:。令坐标变换矩阵为:
则有: 。 的第 列就是 在原始坐标系 中的投影,且有 , 。假设样本点 在原始坐标系中的表示为:
令 ,则 。
假设样本点在新坐标系中的表示为:
令